知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】ビデオコーディング方法、装置、およびコンピュータプログラム
(51)【国際特許分類】
H04N 19/105 20140101AFI20241126BHJP
H04N 19/176 20140101ALI20241126BHJP
H04N 19/70 20140101ALI20241126BHJP
H04N 19/593 20140101ALI20241126BHJP
【ＦＩ】
H04N19/105
H04N19/176
H04N19/70
H04N19/593
【請求項の数】
8
(21)【出願番号】P 2023527784
(86)(22)【出願日】2022-08-30
(65)【公表番号】
(43)【公表日】2023-11-22
(86)【国際出願番号】 US2022075644
(87)【国際公開番号】W WO2023034782
(87)【国際公開日】2023-03-09
【審査請求日】2023-05-09
(31)【優先権主張番号】63/239,767
(32)【優先日】2021-09-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/898,454
(32)【優先日】2022-08-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】リン・リ
(72)【発明者】
【氏名】シアン・リ
(72)【発明者】
【氏名】シャン・リュウ
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２４６１１３（ＵＳ，Ａ１）
【文献】国際公開第２０２０／０６７７００（ＷＯ，Ａ１）
【文献】国際公開第２０２０／１６９１０３（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０２０／００２９０７２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／００４５３０６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／００１４３４２（ＵＳ，Ａ１）
【文献】特表２０２２－５２１１９８（ＪＰ，Ａ）
【文献】国際公開第２０２１／０４０８７６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
(57)【特許請求の範囲】
【請求項1】
デコーダにおけるビデオ処理の方法であって、プロセッサによって、現在のコーディングツリーユニット（ＣＴＵ）内の現在のブロックがイントラブロックコピー（ＩＢＣ）モードで予測されることに応答して、前記現在のブロックを予測するための初期ブロックベクトルを決定するステップと、
前記プロセッサによって、ピクチャ内の参照ブロックを指す改良されたブロックベクトルを前記現在のブロックとして決定するために、前記初期ブロックベクトルに基づいてテンプレートマッチングを実行するステップと、
前記プロセッサによって、前記参照ブロックに基づいて前記現在のブロックを再構築するステップと、
コーディングされたビデオビットストリームに含まれるマージインデックスに基づいて前記初期ブロックベクトルを決定するステップであって、前記マージインデックスは、ＩＢＣマージモードの複数のＩＢＣ候補を含むＩＢＣマージ候補リスト内のブロックベクトル候補を示す、ステップと、
ＩＢＣ参照領域の外側にある第１の位置を指し示す第１のブロックベクトル候補を少なくとも含む前記ＩＢＣマージ候補リストを構築するステップと、
を含み、
前記ＩＢＣマージ候補リストを構築する前記ステップが、
前記第１のブロックベクトル候補のテンプレートマッチング検索領域が前記ＩＢＣ参照領域と少なくとも部分的に重複するという判定に応答して、前記第１のブロックベクトル候補を前記ＩＢＣマージ候補リストに挿入するステップをさらに含む、
方法。
【請求項2】
前記コーディングされたビデオビットストリームから、前記ＩＢＣマージモードを示す第１のフラグを構文解析するステップと、前記コーディングされたビデオビットストリームから、前記マージインデックスによって示される前記ＩＢＣマージモードの前記複数のＩＢＣ候補の前記ブロックベクトル候補に前記テンプレートマッチングが適用されるかどうかを示す第２のフラグを構文解析するステップと
をさらに含む、請求項１に記載の方法。
【請求項3】
前記コーディングされたビデオビットストリームから、前記ＩＢＣマージモードを示すフラグを構文解析するステップであって、前記テンプレートマッチングは、前記ＩＢＣマージモードで予測される前記ＣＴＵ内の各ブロックのブロックベクトル候補に適用される、ステップをさらに含む、請求項１に記載の方法。
【請求項4】
前記マージインデックスに基づいて前記初期ブロックベクトルを決定する前記ステップが、前記第１のブロックベクトル候補を示す前記マージインデックスに応答して、前記ＩＢＣ参照領域内の前記第１の位置に最も近い位置を決定するステップと、
前記最も近い位置を指し示す前記初期ブロックベクトルを決定するステップと
をさらに含む、請求項１に記載の方法。
【請求項5】
前記ＩＢＣ参照領域が、前記現在のＣＴＵの再構築された部分と、ＣＴＵを格納するためのサイズのメモリ空間にキャッシュされている左ＣＴＵの領域とを含む、請求項１に記載の方法。
【請求項6】
前記テンプレートマッチングを実行する前記ステップが、前記テンプレートマッチングから前記ＩＢＣ参照領域外にある前記テンプレートマッチング検索領域の部分を除外するステップをさらに含む、請求項１に記載の方法。
【請求項7】
請求項１から６のいずれか一項に記載の方法を行うように構成された装置。
【請求項8】
少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から６のいずれか一項に記載の方法を実行させるための命令を備えたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2021年9月1日に出願された米国仮出願第63／239，767号「TEMPLATE MATCHING ON IBC MERGE CANDIDATES」に対する優先権の利益を主張する、2022年8月29日に出願された米国特許出願第17／898，454号「TEMPLATE MATCHING ON IBC MERGE CANDIDATES」に対する優先権の利益を主張する。先行出願の開示は、それらの全体が参照により本明細書に組み込まれる。
本出願は、2021年9月1日に出願された米国仮出願第63／239，767号「TEMPLATE MATCHING ON IBC MERGE CANDIDATES」に対する優先権の利益を主張する、2022年8月29日に出願された米国特許出願第17／898，454号「TEMPLATE MATCHING ON IBC MERGE CANDIDATES」に対する優先権の利益を主張する。先行出願の開示は、それらの全体が参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、ビデオコーディングに関連する実施形態を説明する。
【背景技術】
【0003】
本明細書において提供される背景技術の説明は、本開示の文脈を大まかに提示することを目的としている。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、および出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。
【0004】
非圧縮デジタルビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連するクロマサンプルの空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャまたは60Hzの固定または可変の（非公式にはフレームレートとしても知られる）ピクチャレートを有することができる。非圧縮ビデオは特有のビットレート要件を有する。例えば、サンプルあたり8ビットでの1080p60 4：2：0ビデオ（60Hzフレームレートで1920×1080の輝度サンプル解像度）は、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600ギガバイトを超える記憶空間を必要とする。
【0005】
ビデオコーディングおよびデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅および／または記憶空間の要件を、場合によっては、2桁以上削減するのに役立つことができる。可逆圧縮と非可逆圧縮の両方、ならびにそれらの組み合わせを採用することができる。可逆圧縮は、圧縮された原信号から原信号の正確なコピーを再構築することができる技術を指す。非可逆圧縮を使用すると、再構築された信号は原信号と同一ではない可能性があるが、原信号と再構築された信号との間の歪みは、再構築された信号を目的の用途に有用なものにするほど十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容し得る。達成可能な圧縮比は、より高い容認可能／許容可能な歪みが、より高い圧縮比をもたらし得ることを反映し得る。
【0006】
ビデオエンコーダおよびデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用し得る。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構築された参照ピクチャからのサンプルまたは他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードでコーディングされるとき、そのピクチャはイントラピクチャであり得る。イントラピクチャ、および独立デコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用できるため、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用され得る。イントラブロックのサンプルは、変換にさらされる可能性があり、変換係数は、エントロピーコーディングの前に量子化され得る。イントラ予測は、変換前領域内のサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップのサイズにおいて必要とされるビットは少なくなる。
【0008】
例えば、MPEG－2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に隣接し、デコーディング順序で先行する、データブロックのエンコーディングおよび／またはデコーディング中に取得された周囲のサンプルデータおよび／またはメタデータから試行する技術を含む。このような技術は、以後「イントラ予測」技術と呼ばれる。少なくともいくつかの場合では、イントラ予測は再構築中の現在のピクチャからの参照データのみを使用し、参照ピクチャからは使用しないことに留意されたい。
【0009】
イントラ予測には多くの異なる形式があり得る。そのような技術のうちの2つ以上が所与のビデオコーディング技術において使用され得るとき、使用中の技術は、イントラ予測モードでコーディングされ得る。特定の場合には、モードはサブモードおよび／またはパラメータを有することができ、それらを個別にコーディングするか、またはモードのコードワードに含めることができる。所与のモード、サブモード、および／またはパラメータの組み合わせに、どのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM：joint exploration model）、多用途ビデオコーディング（VVC：versatile video coding）、およびベンチマークセット（BMS：benchmark set）などのより新しいコーディング技術においてさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成され得る。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、またはそれ自体が予測されてもよい。
【0011】
図1Aを参照すると、右下に示されているのは、H．265の（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測子方向から知られる9つの予測子方向のサブセットである。矢印が収束する点（101）は、予測されているサンプルを表す。矢印は、そこからサンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が水平から45度の角度で右上にある1つまたは複数のサンプルから予測されることを示す。同様に、矢印（103）は、サンプル（101）が水平から22．5度の角度でサンプル（101）の左下にある1つまたは複数のサンプルから予測されることを示す。
【0012】
さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が示されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、およびX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元およびX次元の両方の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルがさらに示されている。参照サンプルは、ブロック（104）に対してR、そのY位置（例えば、行インデックス）、およびX位置（列インデックス）でラベル付けされている。H．264およびH．265の両方において、予測サンプルは再構築中のブロックに隣接するので、負の値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられるように、隣接サンプルからの参照サンプル値をコピーすることによって機能し得る。例えば、コーディングされたビデオビットストリームが、このブロックに関して、矢印（102）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルが水平から45度の角度で右上にある1つまたは複数の予測サンプルから予測されると仮定する。その場合、同じ参照サンプルR05からサンプルS41、S32、S23、およびS14が予測される。次いで、参照サンプルR08からサンプルS44が予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れないときは、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。
【0015】
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H．264（2003年）では、9つの異なる方向を表すことができた。それがH．265（2013年）では33に増加し、本開示の時点では、JEM／VVC／BMSは最大65個の方向をサポートできる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れている。さらに、方向自体は、隣接する既にデコーディングされたブロックにおいて使用された隣接方向から予測され得る場合もある。
【0016】
図1Bは、経時的に増加する数の予測方向を示すために、JEMによる65個のイントラ予測方向を示す概略図（110）を示す。
【0017】
方向を表す、コーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なってもよく、例えば、予測方向のイントラ予測モードへの単純な直接マッピングから、コードワード、最も可能性が高いモードを含む複雑な適応方式、および同様の技術に及ぶことができる。しかしながら、すべての場合において、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数によって表される。
【0018】
ビデオコーディングおよびデコーディングは、動き補償を伴うインターピクチャ予測を使用して実行され得る。動き補償は非可逆圧縮技術とすることができ、以前に再構築されたピクチャまたはその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示される方向に空間的にシフトされた後、新たに再構築されたピクチャまたはピクチャの一部の予測に使用される技術に関連することができる。場合によっては、参照ピクチャは、現在再構築中のピクチャと同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、3番目の次元は、使用中の参照ピクチャの指示である（後者は、間接的に時間次元であり得る）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMVから、例えば、再構築中の領域に空間的に隣接し、デコーディング順序でそのMVに先行するサンプルデータの別の領域に関連するMVから予測され得る。そうすることにより、MVのコーディングに必要なデータ量を大幅に削減することができ、それによって冗長性が排除され、圧縮率が増加する。例えば、カメラ（ナチュラルビデオとして知られている）から導出された入力ビデオ信号をコーディングするとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接領域のMVから導出された同様の動きベクトルを使用して予測することができるため、MV予測は、効果的に機能することができる。その結果、所与の領域について検出されたMVは、周囲のMVから予測されたMVと同様または同じであり、エントロピーコーディング後、直接MVをコーディングする場合に使用されるビット数より少ないビット数で表すことができる。場合によっては、MV予測は、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例であり得る。他の場合には、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差のために、MV予測自体は非可逆であり得る。
【0020】
様々なMV予測メカニズムが、H．265／HEVC（ITU－T勧告H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、本明細書に記載されるのは、以降「空間マージ」と呼ばれる技術である。
【0021】
図2を参照すると、現在のブロック（201）は、動き検索プロセス中にエンコーダにより、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが見出されたサンプルを含む。直接そのMVをコーディングする代わりに、MVは、A0、A1、およびB0、B1、B2（それぞれ、202～206）と表記された5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つまたは複数の参照ピクチャに関連付けられたメタデータから、例えば、（デコーディング順序で）最新の参照ピクチャから導出され得る。H．265では、MV予測は、隣接するブロックが使用している同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、ビデオエンコーディング／デコーディングのための方法および装置を提供する。いくつかの例では、ビデオデコーディングのための装置は処理回路を含む。処理回路は、現在のブロックがイントラブロックコピー（IBC）モードで予測されていることに応答して、現在のコーディングツリーユニット（CTU）内の現在のブロックを予測するための初期ブロックベクトルを決定する。処理回路は、初期ブロックベクトルに基づいてテンプレートマッチングを実行して、ピクチャ内の参照ブロックを指す改良されたブロックベクトルを現在のブロックとして決定し、参照ブロックに基づいて現在のブロックを再構築する。いくつかの例では、処理回路は、コーディングされたビデオビットストリームに含まれるマージインデックスに基づいて初期ブロックベクトルを決定する。マージインデックスは、IBCマージモードの複数のIBC候補を含むIBCマージ候補リスト内のブロックベクトル候補を示す。
【0023】
一例では、処理回路は、コーディングされたビデオビットストリームから、IBCマージモードを示す第1のフラグを構文解析し、コーディングされたビデオビットストリームから、マージインデックスによって示されるIBCマージモードの複数のIBC候補のブロックベクトル候補にテンプレートマッチングが適用されるかどうかを示す第2のフラグを構文解析する。
【0024】
別の例では、処理回路は、コーディングされたビデオビットストリームから、IBCマージモードを示すフラグを構文解析し、テンプレートマッチングは、IBCマージモードで予測されるCTU内の各ブロックのブロックベクトル候補に適用される。
【0025】
いくつかの例では、処理回路は、IBC参照領域の外側にある第1の位置を指し示す第1のブロックベクトル候補を少なくとも含むIBCマージ候補リストを構築する。
【0026】
一例では、処理回路は、第1のブロックベクトル候補を示すマージインデックスに応答して、IBC参照領域内の第1の位置に最も近い位置を決定し、最も近い位置を指し示す初期ブロックベクトルを決定する。
【0027】
一例では、IBCマージ候補リストを構築するために、処理回路は、第1のブロックベクトル候補のテンプレートマッチング検索領域がIBC参照領域と少なくとも部分的に重複するという判定に応答して、第1のブロックベクトル候補をIBCマージ候補リストに挿入する。
【0028】
いくつかの例では、IBC参照領域は、現在のCTUの再構築された部分と、CTUを格納するためのサイズのメモリ空間にキャッシュされている左CTUの領域とを含む。
【0029】
いくつかの例では、処理回路は、IBC参照領域外にあるテンプレートマッチング検索領域の一部をテンプレートマッチングから除外する。
【0030】
本開示の態様はまた、ビデオデコーディングのためにコンピュータによって実行されると、コンピュータにビデオデコーディングのための方法を実行させる命令を格納する、非一時的コンピュータ可読媒体を提供する。
【0031】
開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになる。
【図面の簡単な説明】
【0032】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【図1B】例示的なイントラ予測方向の図である。
【図2】一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。
【図3】一実施形態による、通信システム（300）の簡略化されたブロック図の概略図である。
【図4】一実施形態による、通信システム（400）の簡略化されたブロック図の概略図である。
【図5】一実施形態による、デコーダの簡略化されたブロック図の概略図である。
【図6】一実施形態による、エンコーダの簡略化されたブロック図の概略図である。
【図7】別の実施形態による、エンコーダのブロック図である。
【図8】別の実施形態による、デコーダのブロック図である。
【図9】本開示の一実施形態によるイントラブロックコピーの例を示す図である。
【図10】本開示の一実施形態によるイントラブロックコピーの例を示す図である。
【図11】本開示の一実施形態によるイントラブロックコピーの例を示す図である。
【図12A】本開示の一実施形態によるイントラブロックコピーの例を示す図である。
【図12B】本開示の一実施形態によるイントラブロックコピーの別の例を示す図である。
【図12C】本開示の一実施形態によるイントラブロックコピーのさらに別の例を示す図である。
【図12D】本開示の一実施形態によるイントラブロックコピーのさらに別の例を示す図である。
【図13】いくつかの実施形態におけるテンプレートマッチング検索の一例を示す図である。
【図14】いくつかの例における適応動きベクトル分解能（AMVR）およびマージモードの検索パターンの表である。
【図15】いくつかの実施形態におけるテンプレートマッチングのための擬似コードの一例を示す図である。
【図16】本開示の一実施形態によるイントラブロックコピーモードにおける予測の一例を示す図である。
【図17】本開示のいくつかの実施形態によるプロセスの概要を示すフローチャートである。
【図18】本開示のいくつかの実施形態による別のプロセスの概要を示すフローチャートである。
【図19】一実施形態によるコンピュータシステムの概略図である。
【発明を実施するための形態】
【0033】
図3は、本開示の一実施形態による、通信システム（300）の簡略化されたブロック図を示す。通信システム（300）は、例えば、ネットワーク（350）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された端末デバイス（310）および（320）の第1のペアを含む。図3の例では、端末デバイス（310）および（320）の第1のペアは、データの単方向送信を実行する。例えば、端末デバイス（310）は、ネットワーク（350）を介して他の端末デバイス（320）に送信するためのビデオデータ（例えば、端末デバイス（310）によって取り込まれたビデオピクチャのストリーム）をコーディングし得る。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信され得る。端末デバイス（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示し得る。単方向データ送信は、メディアサービング用途などにおいて一般的であり得る。
【0034】
別の例では、通信システム（300）は、例えばビデオ会議中に発生する可能性があるコーディングされたビデオデータの双方向送信を実行する端末デバイス（330）および（340）の第2のペアを含む。データの双方向送信の場合、一例では、端末デバイス（330）および（340）の各端末デバイスは、ネットワーク（350）を介して端末デバイス（330）および（340）のうちの他の端末デバイスに送信するためのビデオデータ（例えば、端末デバイスによって取り込まれたビデオピクチャのストリーム）をコーディングし得る。端末デバイス（330）および（340）の各端末デバイスはまた、端末デバイス（330）および（340）のうちの他の端末デバイスによって送信されたコーディングされたビデオデータを受信し得、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し得、復元されたビデオデータに従ってアクセス可能な表示デバイスにビデオピクチャを表示し得る。
【0035】
図3の例では、端末デバイス（310）、（320）、（330）、および（340）は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示される場合があるが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および／または専用ビデオ会議機器を用いるアプリケーションを見出す。ネットワーク（350）は、例えば、有線（ワイヤード）および／または無線通信ネットワークを含む、端末デバイス（310）、（320）、（330）、および（340）の間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（350）は、回路交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および／またはインターネットが含まれる。本説明の目的のために、ネットワーク（350）のアーキテクチャおよびトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要でない可能性がある。
【0036】
図4は、開示された主題についてのアプリケーション用の一例として、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダの配置を示す。開示された主題は、例えば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの格納などを含む、他のビデオ対応アプリケーションに等しく適用可能であり得る。
【0037】
ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（402）を作成するビデオソース（401）、例えば、デジタルカメラを含むことができるキャプチャサブシステム（413）を含んでもよい。一例では、ビデオピクチャのストリーム（402）は、デジタルカメラによって撮影されたサンプルを含む。エンコーディングされたビデオデータ（404）（またはコーディングされたビデオビットストリーム）と比較したときに多いデータ量を強調するために太い線として示されたビデオピクチャのストリーム（402）は、ビデオソース（401）に結合されたビデオエンコーダ（403）を含む電子デバイス（420）によって処理され得る。ビデオエンコーダ（403）は、以下でより詳細に記載されるように、開示された主題の態様を可能にするかまたは実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。ビデオピクチャのストリーム（402）と比較したときに少ないデータ量を強調するために細い線として示されたエンコーディングされたビデオデータ（404）（またはエンコーディングされたビデオビットストリーム（404））は、将来の使用のためにストリーミングサーバ（405）に格納され得る。図4のクライアントサブシステム（406）および（408）などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスして、エンコーディングされたビデオデータ（404）のコピー（407）および（409）を取り出すことができる。クライアントサブシステム（406）は、例えば、電子デバイス（430）内のビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、エンコーディングされたビデオデータの入力コピー（407）をデコーディングし、ディスプレイ（412）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上でレンダリングすることができるビデオピクチャの出力ストリーム（411）を作成する。いくつかのストリーミングシステムでは、エンコーディングされたビデオデータ（404）、（407）、および（409）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。それらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオコーディング規格は、非公式に多用途ビデオコーディング（VVC：Versatile Video Coding）として知られている。開示内容は、VVCの関連で使用され得る。
【0038】
電子デバイス（420）および（430）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（420）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（430）もビデオエンコーダ（図示せず）を含むことができる。
【0039】
図5は、本開示の一実施形態による、ビデオデコーダ（510）のブロック図を示す。ビデオデコーダ（510）は、電子デバイス（530）に含まれ得る。電子デバイス（530）は、受信機（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）は、図4の例のビデオデコーダ（410）の代わりに使用され得る。
【0040】
受信機（531）は、ビデオデコーダ（510）によってデコーディングされる1つまたは複数のコーディングされたビデオシーケンス、同じかまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信してもよく、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスは、チャネル（501）から受信されてもよく、チャネル（501）は、エンコーディングされたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクであってもよい。受信機（531）は、それらのそれぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリームとともにエンコーディングされたビデオデータを受信し得る。受信機（531）は、コーディングされたビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（515）は、受信機（531）とエントロピーデコーダ／パーサ（520）（以下、「パーサ（520）」）との間に結合されてもよい。特定のアプリケーションでは、バッファメモリ（515）はビデオデコーダ（510）の一部である。他のアプリケーションでは、それはビデオデコーダ（510）の外側にあり得る（図示せず）。さらに他のアプリケーションでは、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（510）の外側にバッファメモリ（図示せず）があり、加えて、例えば、プレイアウトタイミングを処理するために、ビデオデコーダ（510）の内側に別のバッファメモリ（515）があり得る。受信機（531）が十分な帯域幅および制御可能性のストア／フォワードデバイスから、またはアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているとき、バッファメモリ（515）は必要とされない場合があるか、または小さい可能性がある。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（515）は、必要とされる場合があり、比較的大きい可能性があり、有利なことに適応サイズであり得、オペレーティングシステムまたはビデオデコーダ（510）の外側の同様の要素（図示せず）に少なくとも部分的に実装されてもよい。
【0041】
ビデオデコーダ（510）は、コーディングされたビデオシーケンスからシンボル（521）を再構築するためにパーサ（520）を含んでもよい。これらのシンボルのカテゴリには、ビデオデコーダ（510）の動作を管理するために使用される情報、および潜在的に、電子デバイス（530）の不可欠な部分ではないが、図5に示されたように、電子デバイス（530）に結合することができるレンダデバイス（512）（例えば、表示画面）などのレンダリングデバイスを制御するための情報が含まれる。（1つまたは複数の）レンダリングデバイスのための制御情報は、補足拡張情報（SEIメッセージ）またはビデオユーザビリティ情報（VUI）のパラメータセットフラグメント（図示せず）の形式であってもよい。パーサ（520）は、受け取ったコーディングされたビデオシーケンスを構文解析／エントロピーデコーディングし得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、文脈感度の有無にかかわらず、可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従うことができる。パーサ（520）は、グループに対応する少なくとも1つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つのための一組のサブグループパラメータを抽出し得る。サブグループは、ピクチャグループ（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（520）はまた、コーディングされたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出し得る。
【0042】
パーサ（520）は、シンボル（521）を作成するために、バッファメモリ（515）から受け取ったビデオシーケンスに対してエントロピーデコーディング／構文解析動作を実行し得る。
【0043】
シンボル（521）の再構築は、（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなどの）コーディングされたビデオピクチャまたはその一部のタイプならびに他の要因に応じて、複数の異なるユニットを含むことができる。どのユニットがどのように関与するかは、パーサ（520）によってコーディングされたビデオシーケンスから構文解析されたサブグループ制御情報によって制御され得る。パーサ（520）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために示されていない。
【0044】
既に述べられた機能ブロック以外に、ビデオデコーダ（510）は、以下に記載されるように、概念的にいくつかの機能ユニットに細分化され得る。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的には互いに統合され得る。しかしながら、開示内容を説明することを目的として、概念上は、以下の機能ユニットへの細分化が適切である。
【0045】
第1のユニットはスケーラ／逆変換ユニット（551）である。スケーラ／逆変換ユニット（551）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（520）から（1つまたは複数の）シンボル（521）として受け取る。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力することができるサンプル値を含むブロックを出力することができる。
【0046】
場合によっては、スケーラ／逆変換（551）の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構築されたピクチャからの予測情報を使用していないが、現在のピクチャの以前に再構築された部分からの予測情報を使用することができるブロックに関連する可能性がある。そのような予測情報は、イントラピクチャ予測ユニット（552）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（552）は、現在のピクチャバッファ（558）からフェッチされた周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（558）は、例えば、部分的に再構築された現在のピクチャおよび／または完全に再構築された現在のピクチャをバッファリングする。アグリゲータ（555）は、場合によっては、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供される出力サンプル情報に追加する。
【0047】
他の場合には、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコーディングされ、潜在的に動き補償されたブロックに関連する可能性がある。そのような場合、動き補償予測ユニット（553）は、参照ピクチャメモリ（557）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関連するシンボル（521）に従ってフェッチされたサンプルを動き補償した後、出力サンプル情報を生成するために、これらのサンプルをアグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力に追加することができる（この場合、残差サンプルまたは残差信号と呼ばれる）。動き補償予測ユニット（553）が予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、例えば、X、Y、および参照ピクチャ成分を有することができるシンボル（521）の形式で動き補償予測ユニット（553）に利用可能な動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。
【0048】
アグリゲータ（555）の出力サンプルは、ループフィルタユニット（556）において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、（コーディングされたビデオビットストリームとも呼ばれる）コーディングされたビデオシーケンスに含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）に利用可能にされるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコーディング順序で）前の部分のデコーディング中に取得されたメタ情報に応答するだけでなく、以前に再構築およびループフィルタリングされたサンプル値に応答することもできる。
【0049】
ループフィルタユニット（556）の出力は、レンダデバイス（512）に出力されるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（557）に格納することができるサンプルストリームであり得る。
【0050】
一旦完全に再構築されると、特定のコーディングされたピクチャは、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構築され、コーディングされたピクチャが参照ピクチャとして（例えば、パーサ（520）によって）識別されると、現在のピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、未使用の現在のピクチャバッファは、次のコーディングされたピクチャの再構築を開始する前に再割り当てされ得る。
【0051】
ビデオデコーダ（510）は、ITU－T勧告H．265などの規格における所定のビデオ圧縮技術に従ってデコーディング動作を実行し得る。コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文とビデオ圧縮技術または規格において文書化されたプロファイルの両方を順守するという意味で、コーディングされたビデオシーケンスは、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格において使用可能なすべてのツールから、そのプロファイルで使用できる唯一のツールとして特定のツールを選択できる。また、準拠するために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構築サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）の仕様、およびコーディングされたビデオシーケンス内でシグナリングされるHRDバッファ管理用のメタデータによってさらに制限され得る。
【0052】
一実施形態では、受信機（531）は、エンコーディングされたビデオとともに追加の（冗長な）データを受信し得る。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコーディングするために、かつ／または元のビデオデータをより正確に再構築するために、ビデオデコーダ（510）によって使用されてもよい。追加のデータは、例えば、時間、空間、または信号雑音比（SNR：signal noise ratio）拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式であり得る。
【0053】
図6は、本開示の一実施形態による、ビデオエンコーダ（603）のブロック図を示す。ビデオエンコーダ（603）は電子デバイス（620）に含まれる。電子デバイス（620）は送信機（640）（例えば、送信回路）を含む。ビデオエンコーダ（603）は、図4の例のビデオエンコーダ（403）の代わりに使用され得る。
【0054】
ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるビデオ画像を取り込み得る（図6の例では電子デバイス（620）の一部ではない）ビデオソース（601）からビデオサンプルを受信し得る。別の例では、ビデオソース（601）は電子デバイス（620）の一部である。
【0055】
ビデオソース（601）は、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形式で、ビデオエンコーダ（603）によってコーディングされるソースビデオシーケンスを提供し得る。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを格納するストレージデバイスであってもよい。ビデオ会議システムでは、ビデオソース（601）は、ビデオシーケンスとしてローカル画像情報を取り込むカメラであってもよい。ビデオデータは、順番に見たときに動きを伝える複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、ピクセルの空間配列として編成されてよく、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下、サンプルに着目して説明する。
【0056】
一実施形態によれば、ビデオエンコーダ（603）は、リアルタイムで、またはアプリケーションによって必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（643）にコーディングし圧縮し得る。適切なコーディング速度を強制することは、コントローラ（650）の1つの機能である。いくつかの実施形態では、コントローラ（650）は、以下に記載される他の機能ユニットを制御し、他の機能ユニットに機能的に結合されている。分かりやすくするために、結合は示されていない。コントローラ（650）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、ピクチャグループ（GOP）のレイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（650）は、特定のシステム設計のために最適化されたビデオエンコーダ（603）に関連する他の適切な機能を有するように構成され得る。
【0057】
いくつかの実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成される。過度に簡略化した説明として、一例では、コーディングループは、ソースコーダ（630）（例えば、コーディングされるべき入力ピクチャと参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成することに関与する）と、ビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）と、を含み得る。デコーダ（633）は、（シンボルとコーディングされたビデオビットストリームとの間のいかなる圧縮も、開示された主題で考慮されるビデオ圧縮技術において可逆であるため）（リモート）デコーダも作成するのと同様の方式で、シンボルを再構築してサンプルデータを作成する。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルまたはリモート）に関係なくビット正確な結果につながるので、参照ピクチャメモリ（634）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えば、チャネルエラーのために同期性が維持できない場合に結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用される。
【0058】
「ローカル」デコーダ（633）の動作は、図5とともに上記で詳細に既に記載されている、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じであり得る。しかしながら、また図5を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（645）およびパーサ（520）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングは可逆であり得るので、バッファメモリ（515）を含むビデオデコーダ（510）のエントロピーデコーディング部分、およびパーサ（520）は、ローカルデコーダ（633）に完全に実装されていない可能性がある。
【0059】
この時点でなされ得る観測は、デコーダ内に存在する構文解析／エントロピーデコーディングを除く任意のデコーダ技術もまた、対応するエンコーダ内に実質的に同一の機能形態で存在する必要があるということである。このため、開示された主題は、デコーダの動作に焦点を当てる。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略され得る。特定の領域においてのみ、より詳細な説明が必要とされ、以下に提供される。
【0060】
動作中、いくつかの例では、ソースコーダ（630）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補償予測コーディングを実行し得る。このようにして、コーディングエンジン（632）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差をコーディングする。
【0061】
ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングし得る。コーディングエンジン（632）の動作は、有利なことに、非可逆プロセスであってもよい。コーディングされたビデオデータが（図6には示されていない）ビデオデコーダでデコーディングされ得るとき、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって実行され得るデコーディングプロセスを複製し、再構築された参照ピクチャが参照ピクチャキャッシュ（634）に格納されるようにし得る。このようにして、ビデオエンコーダ（603）は、（送信エラーがない）遠端ビデオデコーダによって取得される再構築された参照ピクチャとして共通のコンテンツを有する、再構築された参照ピクチャのコピーをローカルに格納し得る。
【0062】
予測器（635）は、コーディングエンジン（632）のための予測検索を実行し得る。すなわち、コーディングされる新しいピクチャの場合、予測器（635）は、新しいピクチャのための適切な予測参照として役立ち得る、（候補参照ピクセルブロックとしての）サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（634）を検索し得る。予測器（635）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作し得る。場合によっては、予測器（635）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（634）に格納された複数の参照ピクチャから引き出された予測参照を有してもよい。
【0063】
コントローラ（650）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（630）のコーディング動作を管理し得る。
【0064】
すべての前述の機能ユニットの出力は、エントロピーコーダ（645）内でエントロピーコーディングを受けてもよい。エントロピーコーダ（645）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
【0065】
送信機（640）は、エントロピーコーダ（645）によって作成されたコーディングされたビデオシーケンスをバッファリングして、通信チャネル（660）を介した送信の準備をすることができ、通信チャネル（660）は、エンコーディングされたビデオデータを格納するストレージデバイスへのハードウェア／ソフトウェアリンクであってもよい。送信機（640）は、ビデオコーダ（603）からのコーディングされたビデオデータを、送信される他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示されていない）とマージし得る。
【0066】
コントローラ（650）は、ビデオエンコーダ（603）の動作を管理し得る。コーディング中に、コントローラ（650）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当てることができ、それは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは多くの場合、次のピクチャタイプのいずれかとして割り当てられ得る。
【0067】
イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンス内の他のピクチャを使用せずにコーディングおよびデコーディングされ得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、様々なタイプのイントラピクチャを可能にする。当業者は、Iピクチャの変形、ならびに、それらのそれぞれの用途および機能を認識している。
【0068】
予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るピクチャであり得る。
【0069】
双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るピクチャであり得る。同様に、複数予測ピクチャは、単一ブロックの再構築のために3つ以上の参照ピクチャおよび関連するメタデータを使用することができる。
【0070】
ソースピクチャは、一般的には、複数のサンプルブロック（例えば、4×4、8×8、4×8、または16×16のサンプルそれぞれのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよく、またはそれらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測もしくはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされ得る。
【0071】
ビデオエンコーダ（603）は、ITU－T勧告H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を実行し得る。その動作において、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間および空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実行し得る。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠し得る。
【0072】
一実施形態では、送信機（640）は、エンコーディングされたビデオとともに追加のデータを送信し得る。ソースコーダ（630）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含んでもよい。追加のデータは、時間／空間／SNR拡張レイヤ、冗長ピクチャおよびスライスなどの他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。
【0073】
ビデオは、時系列で複数のソースピクチャ（ビデオピクチャ）として取り込まれてもよい。（イントラ予測と省略されることが多い）イントラピクチャ予測は、所与のピクチャ内の空間の相関関係を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関関係を利用する。一例では、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャがブロックに分割される。現在のピクチャ内のブロックが、以前にコーディングされ、ビデオ内にまだバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在のピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。
【0074】
いくつかの実施形態では、インターピクチャ予測を、双予測技術を使用することができる。双予測技術によれば、両方ともビデオ内の現在のピクチャよりもデコーディング順序で前にある（が、それぞれ、表示順序で過去および将来であり得る）第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在のピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1の動きベクトル、および第2の参照ピクチャ内の第2の参照ブロックを指す第2の動きベクトルによってコーディングされ得る。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測され得る。
【0075】
さらに、コーディング効率を改善するために、インターピクチャ予測においてマージモード技術を使用することができる。
【0076】
本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、または16×16ピクセルなどの同じサイズを有する。一般に、CTUは3つのコーディングツリーブロック（CTB）を含み、それらは1つのルマCTBおよび2つのクロマCTBである。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割され得る。例えば、64×64ピクセルのCTUは、1つの64×64ピクセルのCU、または4つの32×32ピクセルのCU、または16個の16×16ピクセルのCUに分割され得る。一例では、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを決定するために、各CUが分析される。CUは、時間および／または空間の予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。一般に、各PUは、1つのルマ予測ブロック（PB）および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値（例えば、ルマ値）の行列を含む。
【0077】
図7は、本開示の別の実施形態による、ビデオエンコーダ（703）の図を示す。ビデオエンコーダ（703）は、ビデオピクチャのシーケンス内の現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例では、ビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用される。
【0078】
HEVCの例では、ビデオエンコーダ（703）は、8×8サンプルの予測ブロックなどの処理ブロック用のサンプル値の行列を受信する。ビデオエンコーダ（703）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最良にコーディングされるかどうかを判定する。処理ブロックがイントラモードでコーディングされるとき、ビデオエンコーダ（703）は、イントラ予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングし得、処理ブロックがインターモードまたは双予測モードでコーディングされるとき、ビデオエンコーダ（703）は、それぞれ、インター予測技術または双予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングし得る。特定のビデオコーディング技術では、マージモードは、予測子の外側のコーディングされた動きベクトル成分の利点がない、動きベクトルが1つまたは複数の動きベクトル予測子から導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオエンコーダ（703）は、処理ブロックのモードを決定するためにモード決定モジュール（図示せず）などの他の構成要素を含む。
【0079】
図7の例では、ビデオエンコーダ（703）は、図7に示されたように一緒に結合されたインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、およびエントロピーエンコーダ（725）を含む。
【0080】
インターエンコーダ（730）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の1つまたは複数の参照ブロック（例えば、前のピクチャおよび後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされた、デコーディングされた参照ピクチャである。
【0081】
イントラエンコーダ（722）は、現在のブロック（例えば、処理ブロック）のサンプルを受信し、場合によっては、ブロックを同じピクチャ内の既にコーディングされたブロックと比較し、変換後に量子化係数を生成し、場合によっては、イントラ予測情報（例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（722）はまた、同じピクチャ内のイントラ予測情報および参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。
【0082】
汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（721）は、ブロックのモードを決定し、モードに基づいてスイッチ（726）に制御信号を提供する。例えば、モードがイントラモードであるとき、汎用コントローラ（721）は、スイッチ（726）を制御して残差計算器（723）が使用するためのイントラモード結果を選択し、エントロピーエンコーダ（725）を制御してイントラ予測情報を選択し、ビットストリームにイントラ予測情報を含め、モードがインターモードであるとき、汎用コントローラ（721）は、スイッチ（726）を制御して残差計算器（723）が使用するためのインター予測結果を選択し、エントロピーエンコーダ（725）を制御してインター予測情報を選択し、ビットストリームにインター予測情報を含める。
【0083】
残差計算器（723）は、受信ブロックと、イントラエンコーダ（722）またはインターエンコーダ（730）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データをエンコーディングして変換係数を生成するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な実施形態では、ビデオエンコーダ（703）は残差デコーダ（728）も含む。残差デコーダ（728）は、逆変換を実行し、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ（722）およびインターエンコーダ（730）によって適切に使用され得る。例えば、インターエンコーダ（730）は、デコーディングされた残差データおよびインター予測情報に基づいてデコーディングされたブロックを生成することができ、イントラエンコーダ（722）は、デコーディングされた残差データおよびイントラ予測情報に基づいてデコーディングされたブロックを生成することができる。いくつかの例では、デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用され得る。
【0084】
エントロピーエンコーダ（725）は、エンコーディングされたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（725）は、HEVC規格などの適切な規格に従って様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（725）は、ビットストリーム内に汎用制御データ、選択された予測情報（例えば、イントラ予測情報またはインター予測情報）、残差情報、および他の適切な情報を含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングする場合、残差情報は存在しないことに留意されたい。
【0085】
図8は、本開示の別の実施形態による、ビデオデコーダ（810）の図を示す。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして再構築されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用される。
【0086】
図8の例では、ビデオデコーダ（810）は、図8に示すように一緒に結合されたエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構築モジュール（874）、およびイントラデコーダ（872）を含む。
【0087】
エントロピーデコーダ（871）は、コーディングされたピクチャから、コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構築するように構成され得る。そのようなシンボルは、例えば、（例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは別のサブモードのうちの後者2つなどの）ブロックがコーディングされるモード、それぞれ、イントラデコーダ（872）またはインターデコーダ（880）による予測に使用される特定のサンプルまたはメタデータを識別することができる（例えば、イントラ予測情報またはインター予測情報などの）予測情報、例えば、量子化変換係数の形態の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードであるとき、インター予測情報はインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報はイントラデコーダ（872）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0088】
インターデコーダ（880）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0089】
イントラデコーダ（872）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0090】
残差デコーダ（873）は、逆量子化を実行して逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ（873）はまた、（量子化器パラメータ（QP）を含めるために）特定の制御情報を必要とする場合があり、その情報は、エントロピーデコーダ（871）によって提供される場合がある（これは、少量の制御情報のみである可能性があるので、データパスは示されていない）。
【0091】
再構築モジュール（874）は、空間領域において、残差デコーダ（873）によって出力された残差と（場合によってはインター予測モジュールまたはイントラ予測モジュールによって出力された）予測結果を組み合わせて、再構築されたピクチャの一部であり得る再構築されたブロックを形成するように構成され、再構築されたピクチャは再構築されたビデオの一部であり得る。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作を実行することができることに留意されたい。
【0092】
ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、任意の適切な技術を使用して実装することができることに留意されたい。一実施形態では、ビデオエンコーダ（403）、（603）、および（703）、ならびにビデオデコーダ（410）、（510）、および（810）は、1つまたは複数の集積回路を使用して実装され得る。別の実施形態では、ビデオエンコーダ（403）、（603）、および（603）、ならびにビデオデコーダ（410）、（510）、および（810）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装され得る。
【0093】
ブロックベースの補償は、インター予測およびイントラ予測に使用され得る。インター予測の場合、異なるピクチャからのブロックベースの補償は、動き補償として知られている。ブロックベースの補償は、イントラ予測など、同じピクチャ内の以前に再構築されたエリアからも行うことができる。同じピクチャ内の再構築されたエリアからのブロックベースの補償は、イントラピクチャブロック補償、現在のピクチャ参照（CPR）、またはイントラブロックコピー（IBC）と呼ばれる。現在のブロックと、同じピクチャ内の参照ブロック（予測ブロックとも呼ばれる）との間のオフセットを示す変位ベクトルはブロックベクトル（BV）と呼ばれ、現在のブロックは、参照ブロックに基づいてエンコーディング／デコーディングされ得る。任意の値（正または負、x方向でもy方向でも）をとることができる動き補償の動きベクトルとは異なり、BVには、参照ブロックが利用可能で既に再構築されていることを保証するためのいくつかの制約がある。また、いくつかの例では、並列処理を考慮するために、タイル境界、スライス境界、またはウェーブフロントラダー（wavefront ladder）形状の境界である、いくつかの参照領域が除外される。
【0094】
いくつかの例では、IBCモードを使用して、スクリーンコンテンツ材料のコーディング効率を大幅に改善することができる。一般に、IBCモードを、ブロックレベルコーディングモードとして実施することができる。エンコーダ側では、エンコーダは、ブロックマッチング（BM）を実行して、CUごとに最適なブロックベクトルを見つけることができる。いくつかの例では、エンコーダ側で、IBCモードでCUに対してハッシュベースの動き推定（ハッシュベースの検索とも呼ばれる）が実行される。エンコーダは、16ルマサンプル以下の幅または高さを有するブロックについてレート歪み（RD）チェックを実行することができる。非マージモードの場合、ブロックベクトル検索は、最初にハッシュベース検索を使用して実行される。ハッシュ検索が有効な候補を返さない場合、ブロックマッチングベースのローカル検索を実行することができる。
【0095】
いくつかの例では、ハッシュベースの検索では、現在のブロックと参照ブロックとの間のハッシュ鍵マッチング（32ビットCRC）が、現在のピクチャ内のすべての許可されたブロックサイズに拡張される。現在のピクチャ内のすべての位置のハッシュ鍵計算は、4×4サブブロックに基づくことができる。より大きなサイズの現在のブロックでは、4×4のすべてのサブブロックのすべてのハッシュ鍵が対応する参照位置のハッシュ鍵と一致する場合に、ハッシュ鍵は参照ブロックのハッシュ鍵と一致すると判定され得る。複数の参照ブロックのハッシュ鍵が現在のブロックのハッシュ鍵と一致することが判明した場合、一致した参照ブロックの各々のブロックベクトルコストを計算することができ、次いで、最小コストを有する1つの一致した参照ブロックがハッシュベースの検索の結果として選択される。
【0096】
いくつかの例では、ブロックマッチング検索は、現在のブロックに対してローカルな領域を検索する。例えば、ブロックマッチング検索では、前のCTUと現在のCTUの両方をカバーするように検索範囲が設定される。
【0097】
いくつかの実施例では、ブロックベクトルの分解能は整数位置に制限される。いくつかの他のシステムでは、ブロックベクトルは分数位置を指し示すことができる。いくつかの例では、IBCコーディングされたCUのルマブロックベクトルは整数精度である。クロマブロックベクトルは、整数精度に丸めることもできる。いくつかの例では、IBCモードは適応動きベクトル分解能（AMVR）と組み合わせることができ、1ピクセル（pel）と4pelの動きベクトル精度を切り替えることができる。いくつかの実施例では、IBCモードは、イントラまたはインター予測モード以外の第3の予測モードとして扱われる。IBCモードは、いくつかの例では、幅と高さの両方が64ルマサンプル以下のCUに適用可能である。
【0098】
ブロックベクトルのコーディングは、明示的または暗黙的に行われる場合がある。明示的モードでは、ブロックベクトルとその予測子との間のBV差がシグナリングされる。暗黙的モードでは、ブロックベクトルは、マージモードの動きベクトルと同様の方法で、BV差を使用せずに予測子（ブロックベクトル予測子と呼ばれる）から回復される。明示的モードを、非マージBV予測モード、またはいくつかの例ではIBC AMVPモードと呼ぶことができる。暗黙的モードを、いくつかの例では、マージBV予測モード、IBCマージモード、IBCスキップモードと呼ぶことができる。
【0099】
IBCモードにはバリエーションがあり得る。一例では、IBCモードは、イントラ予測モードおよびインター予測モードとは異なる第3のモードとして扱われる。したがって、暗黙的モード（またはIBCマージモード）と明示的モード（IBC AMVPモード）のBV予測が、通常インターモードから分離される。いくつかの例では、IBCモードには別個のマージ候補リストを定義することができ、別個のマージ候補リスト内のエントリはBVである。同様に、一例では、IBC明示的モード（IBC AMVP mode）のBV予測候補リストはBVのみを含む。2つのリスト（すなわち、IBCマージモード用の別個のマージ候補リストおよびIBC AMVPモード用のBV予測候補リスト）に適用される一般的な規則は、2つのリストが、候補導出プロセスに関して、（インター予測で使用される）通常マージモードで使用されるマージ候補リストまたは（インター予測で使用される）通常AMVPモードで使用される高度動きベクトル予測（AMVP）予測子リストと同じロジックに従い得るということである。例えば、IBCマージモードの別個のマージ候補リストを導出するために、5つの空間的に隣接する位置（例えば、図2のA0、A1、およびB0、B1、B2）、例えば、HEVCまたはVVC相互マージモードがIBCマージモードのためにアクセスされる。
【0100】
一実装例では、CUの場合、IBC AMVPモードが使用されるかIBCスキップ／マージモードが使用されるかをシグナリングするためにブロックレベルフラグが使用される。一例では、フラグ（例えば、merge＿flagと表記される）が真である場合、IBCスキップ／マージモードが使用され、フラグが偽である場合、IBC AMVPモードが使用される。
【0101】
いくつかの例では、IBCスキップ／マージモードの場合、マージ候補インデックスをシグナリングして、隣接候補IBCコーディングされたブロックからのマージ候補リスト内のどのブロックベクトルが現在のブロックを予測するためのBV予測子として使用されるかを示すことができる。マージ候補リストは、いくつかの例では、空間、履歴ベースの動きベクトル予測（HMVP）、およびペアワイズ候補を含むことができる。
【0102】
いくつかの例では、IBC AMVPモードの場合、ブロックベクトル差は、動きベクトル差と同じ方法でコーディングされたビットストリームにコーディングされる。IBC AMVPモードにおけるブロックベクトル予測は、2つの候補を予測子として使用することができ、1つは左隣からのものであり、1つは上隣からのものである（IBCコーディングされている場合）。いずれかの隣接ルータが利用できない場合、デフォルトのブロックベクトルを予測子として使用することができる。一例では、BV予測子のインデックスを示すために、コーディングされたビットストリーム内でフラグがシグナリングされる。
【0103】
前述したように、ピクチャ内で再構築中の現在のブロックのBVは、いくつかの制約がある可能性があり、したがって、現在のブロックの参照ブロックはIBC参照領域内にある。
【0104】
IBC参照領域は、参照ブロックを選択できるピクチャの一部を指す。例えば、IBC参照領域は、ピクチャ内の再構築されたエリアの特定の部分内にあってもよい。IBC参照領域のサイズ、位置、形状などを制約することができる。あるいは、BVを制約することができる。一例では、BVはxおよびy成分を含む二次元ベクトルであり、xおよびy成分の少なくとも一方を制約することができる。制約を、BV、IBC参照領域、またはBVとIBC参照領域との組み合わせに関して指定することができる。様々な例において、BVに対していくつかの制約が指定されると、これに従ってIBC参照領域が制約される。同様に、IBC参照領域に対して特定の制約が指定されると、これに従ってBVが制約される。
【0105】
図9は、本開示の一実施形態によるイントラブロックコピーの例を示す。現在のピクチャ（900）は、デコーディング中に再構築される。現在のピクチャ（900）は、再構築されたエリア（910）（灰色の領域）と、デコーディング対象領域（920）（白色の領域）とを含む。現在のブロック（930）は、デコーダによって再構築中である。現在のブロック（930）は、再構築されたエリア（910）にある参照ブロック（940）から再構築され得る。参照ブロック（940）と現在のブロック（930）との間の位置オフセットは、ブロックベクトル（950）（またはBV（950））と呼ばれる。図9の例では、IBC参照領域（960）は再構築されたエリア（910）内にあり、参照ブロック（940）はIBC参照領域（960）内にあり、ブロックベクトル（950）はIBC参照領域（960）内の参照ブロック（940）を指すように制約される。
【0106】
様々な制約をBVおよび／またはIBC参照領域に適用することができる。一実施形態では、現在のCTBにおける再構築中の現在のブロックに対するIBC参照領域は、現在のCTB内になるように制約される。
【0107】
一実施形態において、イントラブロックコピーに使用される参照サンプルを格納するのに効率的なメモリ要件は、1CTBサイズである。一例では、CTBサイズは128×128サンプルである。現在のCTBは、再構築中の現在の領域を含む。現在の領域は、64×64サンプルのサイズを有する。参照メモリは、再構築されたサンプルを現在の領域にさらに格納できるので、参照メモリは、参照メモリサイズが128×128サンプルのCTBサイズと等しいときは、64×64のサンプルをさらに3領域格納することができる。したがって、IBC参照領域は、以前に再構築されたCTBのいくつかの部分を含むことができ、参照サンプルを格納するための総メモリ要件は変化しない（128×128サンプルの1CTBサイズ、または64×64の合計4つの参照サンプルなど）。一例では、図10に示すように、以前に再構築されたCTBが現在のCTBの左隣にある。
【0108】
図10は、本開示の一実施形態によるイントラブロックコピーの例を示す。現在のピクチャ（1001）は、再構築中の現在のCTB（1015）と、現在のCTB（1015）の左隣にある、以前に再構築されたCTB（1010）とを含む。現在のピクチャ（1001）内のCTBは、128×128サンプルなどのCTBサイズ、および128サンプルなどのCTB幅を有する。現在のCTB（1015）は、4つの領域（1016）～（1019）を含み、現在の領域（1016）は再構築中である。現在の領域（1016）は、複数のコーディングブロック（1021）～（1029）を含む。同様に、以前に再構築されたCTB（1010）も4つの領域（1011）～（1014）を含む。コーディングブロック（1021）～（1025）は再構築されており、現在のブロック（1026）は再構築中であり、コーディングブロック（1026）～（1027）、および領域（1017）～（1019）はこれから再構築される。
【0109】
現在の領域（1016）は、並置領域（すなわち以前に再構築されたCTB（1010）内の領域（1011））を有する。以前に再構築されたCTB（1010）に対する並置領域（1011）の相対位置は、現在のCTB（1015）に対する現在の領域（1016）の相対位置と同一であってもよい。図10に示す例では、現在の領域（1016）は、現在のCTB（1015）の左上領域であり、したがって並置領域（1011）もまた、以前に再構築されたCTB（1010）の左上領域である。以前に再構築されたCTB（1010）の位置は、現在のCTB（1015）の位置からCTB幅だけオフセットされているので、並置領域（1011）の位置は、現在の領域（1016）の位置からCTB幅だけオフセットされる。
【0110】
一実施形態では、現在の領域（1016）の並置領域は、以前に再構築されたCTBにあり、以前に再構築されたCTBの位置は、現在のCTB（1015）の位置からCTB幅1つ分、または倍数分オフセットされており、したがって、並置領域の位置もまた、現在の領域（1016）の位置から対応するCTB幅1つ分、または倍数分オフセットされている。並置領域の位置は、現在の領域（1016）から、左シフトさせたり、上シフトさせたりすることができる。
【0111】
前述したように、現在のブロック（1026）に対するIBC参照領域のサイズは、CTBサイズによって制約される。図10の例では、IBC参照領域は、以前に再構築されたCTB（1010）内の領域（1012）～（1014）、およびコーディングブロック（1021）～（1025）などの、既に再構築された現在の領域（1016）の一部を含むことができる。検索範囲のサイズがCTBサイズ内になるように、IBC参照領域から並置領域（1011）を除外することができる。図10を参照すると、参照ブロック（1091）は、以前に再構築されたCTB（1010）の領域（1014）に位置する。ブロックベクトル（1020）は、現在のブロック（1026）と、それぞれの参照ブロック（1091）との間のオフセットを示す。参照ブロック（1091）はIBC参照領域内にある。
【0112】
図10に示す例は、現在の領域が現在のCTB（1015）内の別の位置に置かれる他の状況に適切に適応され得る。一例では、現在のブロックが領域（1017）にあるとき、現在のブロックの並置領域は領域（1012）である。したがって、IBC参照領域は領域（1013）～（1014）、領域（1016）、および既に再構築された領域（1017）の一部を含むことができる。IBC参照領域のサイズがCTBサイズ内になるように、検索範囲から領域（1011）および並置領域（1012）をさらに除外する。一例では、現在のブロックが領域（1018）にあるとき、現在のブロックの並置領域は領域（1013）である。したがって、IBC参照領域は領域（1014）、領域（1016）～（1017）、および既に再構築された領域（1018）の一部を含むことができる。IBC参照領域のサイズがCTBサイズ内になるように、IBC参照領域から領域（1011）～（1012）および並置領域（1013）をさらに除外する。一例では、現在のブロックが領域（1019）にあるとき、現在のブロックの並置領域は領域（1014）である。したがって、IBC参照領域は、領域（1016）～（1018）、および既に再構築された領域（1019）の一部を含むことができる。IBC参照領域のサイズがCTBサイズ内になるように、IBC参照領域から以前に再構築されたCTB（1010）をさらに除外する。
【0113】
前述の説明では、参照ブロックは、以前に再構築されたCTB（1010）または現在のCTB（1015）にあってもよい。
【0114】
一実施形態では、IBC参照領域を、以下のように指定することができる。一例では、現在のピクチャはルマピクチャであり、かつ現在のCTBは複数のルマサンプルを含むルマCTBであり、BV（mvL）は、以下のビットストリーム適合性の制約を満たす。一例では、BV（mvL）は、分数解像度（例えば、1／16pelの解像度）を有する。
【0115】
制約は、現在のブロックの参照ブロックが既に再構築されているという第1の条件を含む。参照ブロックの形状が長方形の場合、隣接ブロック可用性確認プロセス（または参照ブロック可用性確認プロセス）を実施して、参照ブロックの左上サンプルと右下サンプルとが再構築されているかどうかを確認できる。参照ブロックの左上のサンプルと右下のサンプルとが両方とも再構築されていれば、参照ブロックは再構築されていると判定される。
【0116】
例えば、参照ブロック可用性の導出プロセスが、入力として（xCb，yCb）に設定された現在のブロックの左上サンプルの位置（xCurr，yCurr）、および参照ブロックの左上サンプルの位置（xCb＋（mvL［0］＞＞4），yCb＋（mvL［1］＞＞4））によって呼び出される場合、参照ブロックの左上サンプルが再構築されており、ブロックベクトルmvLがx成分mvL［0］とy成分mvL［1］を有する二次元ベクトルであるときの出力はTRUEになる。BV（mvL）が1／16pel解像度などの分数解像度を有する場合、x成分mvL［0］およびy成分mvL［1］は、それぞれ、mvL［0］＞＞4およびmvL［1］＞＞4によって示されるように、整数解像度を有するようにシフトされる。
【0117】
同様に、ブロック可用性の導出プロセスが、入力として（xCb，yCb）に設定された現在のブロックの左上サンプルの位置（xCurr，yCurr）、および参照ブロックの右下サンプルの位置（xCb＋（mvL［0］＞＞4）＋cbWidth－1，yCb＋（mvL［1］＞＞4）＋cbHeight－1）によって呼び出される場合、参照ブロックの右下サンプルが再構築されているときの出力はTRUEになる。パラメータcbWidthおよびcbHeightは、参照ブロックの幅および高さを表す。
【0118】
制約はまた、以下の第2の条件の少なくとも1つを含むことができる：1）値（mvL［0］＞＞4）＋cbWidthが0以下であり、これは、参照ブロックが現在のブロックの左にあって現在のブロックと重ならないことを示す；2）値（mvL［1］＞＞4）＋cbHeightが0以下であり、これは、参照ブロックが現在のブロックの上方にあって、現在のブロックと重ならないことを示す。
【0119】
制約はまた、ブロックベクトルmvLによって以下の第3の条件が満たされることをさらに含むことができる。
（yCb＋（mvL［1］＞＞4））＞＞CtbLog2SizeY＝yCb＞＞CtbLog2SizeY （1）
（yCb＋（mvL［1］＞＞4＋cbHeight－1）＞＞CtbLog2SizeY＝yCb＞＞CtbLog2Size （2）
（xCb＋（mvL［0］＞＞4））＞＞CtbLog2SizeY＞＝（xCb＞＞CtbLog2SizeY）－1 （3）
（xCb＋（mvL［0］＞＞4）＋cbWidth－1）＞＞CtbLog2SizeY＜＝（xCb＞＞CtbLog2SizeY） （4）
ここで、パラメータCtbLog2SizeYは、log2形式のCTB幅を表す。例えば、CTB幅が128サンプルのときは、CtbLog2SizeYは7である。式（1）～（2）は、参照ブロックを含むCTBが現在のCTBと同じCTB行にあることを示す（例えば、参照ブロックが以前に再構築されたCTB（1010）にあるとき、以前に再構築されたCTB（1010）が、現在のCTB（1015）と同じ行にある）。式（3）～（4）は、参照ブロックを含むCTBが現在のCTBの左CTB列、または現在のCTBと同じCTB列のいずれかにあることを示す。式（1）～（4）によって記述される第3の条件は、図10を参照して説明したのと同様に、参照ブロックを含むCTBが、現在のCTB（1015）などの現在のCTB、または以前に再構築されたCTB（1010）などの、現在のCTBの左隣のどちらかであることを示す。
（yCb＋（mvL［1］＞＞4））＞＞CtbLog2SizeY＝yCb＞＞CtbLog2SizeY （1）
（yCb＋（mvL［1］＞＞4＋cbHeight－1）＞＞CtbLog2SizeY＝yCb＞＞CtbLog2Size （2）
（xCb＋（mvL［0］＞＞4））＞＞CtbLog2SizeY＞＝（xCb＞＞CtbLog2SizeY）－1 （3）
（xCb＋（mvL［0］＞＞4）＋cbWidth－1）＞＞CtbLog2SizeY＜＝（xCb＞＞CtbLog2SizeY） （4）
ここで、パラメータCtbLog2SizeYは、log2形式のCTB幅を表す。例えば、CTB幅が128サンプルのときは、CtbLog2SizeYは7である。式（1）～（2）は、参照ブロックを含むCTBが現在のCTBと同じCTB行にあることを示す（例えば、参照ブロックが以前に再構築されたCTB（1010）にあるとき、以前に再構築されたCTB（1010）が、現在のCTB（1015）と同じ行にある）。式（3）～（4）は、参照ブロックを含むCTBが現在のCTBの左CTB列、または現在のCTBと同じCTB列のいずれかにあることを示す。式（1）～（4）によって記述される第3の条件は、図10を参照して説明したのと同様に、参照ブロックを含むCTBが、現在のCTB（1015）などの現在のCTB、または以前に再構築されたCTB（1010）などの、現在のCTBの左隣のどちらかであることを示す。
【0120】
制約は、第4の条件をさらに含むことができ、参照ブロックが現在のCTBの左隣にあるときは、参照ブロックの並置領域は再構築されていない（すなわち、並置領域内に再構築されたサンプルがない）。また、参照ブロックの並置領域は、現在のCTB内にある。図10の例では、参照ブロック（1091）の並置領域は、参照ブロック（1091）が位置する領域（1014）からCTB幅だけオフセットされた領域（1019）であり、領域（1019）は再構築されていない。したがって、ブロックベクトル（1020）および参照ブロック（1091）は、前述した第4の条件を満たす。
【0121】
一例では、第4の条件を以下のように指定できる：（xCb＋（mvL［0］＞＞4））＞＞CtbLog2SizeYが（xCb＞＞CtbLog2SizeY）－1と等しいとき、参照ブロック可用性の導出プロセスは、入力として（xCb，yCb）に設定された現在のブロックの位置（xCurr，yCurr）、および位置（（（xCb＋（mvL［0］＞＞4）＋CtbSizeY）＞＞（CtbLog2SizeY－1））＜＜（CtbLog2SizeY－1），（（yCb＋（mvL［1］＞＞4））＞＞（CtbLog2SizeY－1））＜＜（CtbLog2SizeY－1））で呼び出され、図10に示すように、出力は、並置領域が再構築されていないことを示すFALSEになる。
【0122】
IBC参照領域および／またはブロックベクトルに対する制約は、前述した第1、第2、第3、および第4の条件の適切な組み合わせを含むことができる。一例では、制約は、図10に示すような第1、第2、第3、および第4の条件を含む。一例では、第1、第2、第3、および／または第4の条件を変更することができ、制約は変更された第1、第2、第3、および／または第4の条件を含む。
【0123】
第4の条件によれば、コーディングブロック（1022）～（1029）のうちの1つが現在のブロックであるとき、参照ブロックは領域（1011）内にはあり得ず、したがってコーディングブロック（1022）～（1029）のうちの1つに対するIBC参照領域から領域（1011）は除外される。領域（1011）が除外される理由は以下のように特定され、参照ブロックが領域（1011）にあるとすれば、参照ブロックに対する並置領域は領域（1016）になるが、少なくともコーディングブロック（1021）内のサンプルは再構築されており、したがって第4の条件に反する。その一方で、図11の領域（1116）内のコーディングブロック（1121）のように、現在の領域で最初に再構築されるコーディングブロックについては、第4の条件は、参照ブロックに対する並置領域（1116）がまだ再構築されていないために、参照ブロックが領域（1111）に置かれることの妨げにはならない。
【0124】
図11は、本開示の一実施形態によるイントラブロックコピーの例を示す。現在のピクチャ（1101）は、再構築中の現在のCTB（1115）と、現在のCTB（1115）の左隣にある、以前に再構築されたCTB（1110）とを含む。現在のピクチャ（1101）内のCTBは、CTBサイズおよびCTB幅を有する。現在のCTB（1115）は4つの領域（1116）～（1119）を含み、現在の領域（1116）は再構築中である。現在の領域（1116）は、複数のコーディングブロック（1121）～（1129）を含む。同様に、以前に再構築されたCTB（1110）も4つの領域（1111）～（1114）を含む。再構築中の現在のブロック（1121）は、現在の領域（1116）で最初に再構築され、それからコーディングブロック（1122）～（1129）が再構築される。一例では、CTBサイズは128×128サンプルで、領域（1111）～（1114）および（1116）～（1119）はそれぞれ64×64サンプルである。参照メモリサイズはCTBサイズと等しい128×128サンプルであり、したがってIBC参照領域は、参照メモリサイズによって境界を定められるときは、3つの領域と、追加領域の一部とを含む。
【0125】
同様に、図10を参照して説明したように、現在の領域（1116）は、並置領域（すなわち以前に再構築されたCTB（1110）内の領域（1111））を有する。前述した第4の条件によれば、現在のブロックの参照ブロック（1121）は領域（1111）にあってもよく、したがってIBC参照領域は領域（1111）～（1114）を含むことができる。例えば、参照ブロックが領域（1111）にあるときは、参照ブロックの並置領域は領域（1116）であり、領域（1116）内に、現在のブロック（1121）が再構築される前に再構築されているサンプルはない。しかしながら、図10および第4の条件を参照して説明したように、例えば、コーディングブロック（1121）が再構築された後は、コーディングブロック（1122）を再構築するために領域（1111）をIBC参照領域に含めることができなくなる。したがって、参照メモリバッファの厳密な同期およびタイミング制御が使用され、これは困難な場合がある。
【0126】
いくつかの実施形態によれば、現在のブロックが、現在のCTBの現在の領域で最初に再構築されるときは、以前に再構築されたCTB内にある現在の領域の並置領域をIBC参照領域から除外でき、現在のCTBおよび以前に再構築されたCTBは、同じ現在のピクチャ内にある。ブロックベクトルは、参照ブロックが、以前に再構築されたCTB内の並置領域を除外したIBC参照領域内にあるように決定され得る。一実施形態では、IBC参照領域は、並置領域の後、かつ現在のブロックの前にデコーディング順序で再構築されたコーディングブロックを含む。
【0127】
以下の説明では、CTBサイズは変更でき、最大CTBサイズは参照メモリサイズと同一に設定される。一例では、参照メモリサイズまたは最大CTBサイズは、128×128サンプルである。説明は、他の参照メモリサイズまたは最大CTBサイズに適切に適応され得る。
【0128】
一実施形態では、CTBサイズは参照メモリサイズと等しい。以前に再構築されたCTBは現在のCTBの左隣にあり、並置領域の位置は現在の領域の位置からCTB幅だけオフセットされ、IBC参照領域内のコーディングブロックは、現在のCTBおよび以前に再構築されたCTBのうちの少なくとも一方にある。
【0129】
図12A～図12Dは、本開示の一実施形態によるイントラブロックコピーの例を示す。図12A～図12Dを参照すると、現在のピクチャ（1201）は、再構築中の現在のCTB（1215）と、現在のCTB（1215）の左隣にある、以前に再構築されたCTB（1210）とを含む。現在のピクチャ（1201）内のCTBは、CTBサイズおよびCTB幅を有する。現在のCTB（1215）は、4つの領域（1216）～（1219）を含む。同様に、以前に再構築されたCTB（1210）も4つの領域（1211）～（1214）を含む。一実施形態では、CTBサイズは最大CTBサイズであり、参照メモリサイズと等しい。一例では、CTBサイズおよび参照メモリサイズは128×128サンプルであり、したがって各領域（1211）～（1214）および（1216）～（1219）は、64×64サンプルのサイズを有する。
【0130】
図12A～図12Dに示す例では、現在のCTB（1215）は、領域（1216）～（1219）にそれぞれ対応する、左上領域と、右上領域と、左下領域と、右下領域とを含む。以前に再構築されたCTB（1210）は、領域（1211）～（1214）にそれぞれ対応する、左上領域と、右上領域と、左下領域と、右下領域とを含む。
【0131】
図12Aを参照すると、現在の領域（1216）が再構築中である。現在の領域（1216）は、複数のコーディングブロック（1221）～（1229）を含むことができる。現在の領域（1216）は、並置領域、すなわち以前に再構築されたCTB（1210）内の領域（1211）を有する。再構築されるべきコーディングブロック（1221）～（1229）のうちの1つのIBC参照領域から、並置領域（1211）を除外することができる。IBC参照領域は、デコーディング順序で並置領域（1211）の後、かつ現在の領域（1216）の前に再構築された、以前に再構築されたCTB（1210）の領域（1212）～（1214）を含むことができる。
【0132】
図12Aを参照すると、並置領域（1211）の位置は、現在の領域（1216）の位置から、128サンプルなどCTB幅だけオフセットされている。例えば、並置領域（1211）の位置は、現在の領域（1216）の位置から128サンプル分左シフトされている。
【0133】
図12Aを再度参照すると、現在の領域（1216）が現在のCTB（1215）の左上領域にあるとき、並置領域（1211）は、以前に再構築されたCTB（1210）の左上領域にあり、検索領域から、以前に再構築されたCTBの左上領域を除外する。
【0134】
図12Aに示すように、現在のブロックは、現在のCTU（例えば、CTB（1215）で示す）の左上64×64ブロック（例えば、現在の領域（1216））に分類され、次いで、現在のCTU（CTB（1215）で示す）内の既に再構築されたサンプルに加えて、左CTU（例えば、CTB（1210）で示す）の右下64×64ブロック（例えば、（1214）で示す）内のサンプルを、例えば現在のピクチャ参照（CPR）モードを使用して、参照サンプルと呼ぶことができる。現在のブロックはまた、CPRモードを使用して、左CTU（例えば、CTB（1210）で示す）の左下64×64ブロック（例えば、（1213）で示す）のサンプルおよび左CTU（例えば、CTB（1210）で示す）の右上64×64ブロック（例えば、（1212）で示す）のサンプルを参照することができる。
【0135】
図12Bを参照すると、現在の領域（1217）が再構築中である。現在の領域（1217）は、複数のコーディングブロック（1241）～（1249）を含むことができる。現在の領域（1217）は、並置領域（すなわち以前に再構築されたCTB（1210）内の領域（1212））を有する。複数のコーディングブロック（1241）～（1249）のうちの1つのIBC参照領域から、並置領域（1212）を除外することができる。IBC参照領域は、以前に再構築されたCTB（1210）の領域（1213）～（1214）と、並置領域（1212）の後、かつ現在の領域（1217）の前に再構築された、現在のCTB（1215）内の領域（1216）とを含む。参照メモリサイズ（すなわち1CTBサイズ）の制約により、IBC参照領域から領域（1211）をさらに除外する。同様に、並置領域（1212）の位置は、現在の領域（1217）の位置から、128サンプルなどCTB幅だけオフセットされている。
【0136】
図12Bの例では、現在の領域（1217）が現在のCTB（1215）の右上領域にあり、並置領域（1212）もまた、以前に再構築されたCTB（1210）の右上領域にあり、検索領域から、以前に再構築されたCTB（1210）の右上領域を除外する。
【0137】
図12Bに示すように、現在のブロックが、現在のCTU（例えば、CTB（1215）で示す）の右上64×64ブロック（例えば、（1217）で示す）に分類される場合に、現在のCTU内の既に再構築されたサンプル（例えば、（1216）で示す）に加えて、現在のCTUに対するルマ位置（0，64）がまだ再構築されていない場合、現在のブロックはまた、CPRモードを使用して、左CTUの左下64×64ブロック（例えば、（1213）として示す）および右下64×64ブロック（例えば、（1214）として示す）内のサンプルを参照することができ、そうでない場合、現在のブロックは、左CTUの右下64×64ブロック（例えば、（1214）として示す）内の参照サンプルも参照することができる。
【0138】
図12Cを参照すると、現在の領域（1218）が再構築中である。現在の領域（1218）は、複数のコーディングブロック（1261）～（1269）を含むことができる。現在の領域（1218）は、以前に再構築されたCTB（1210）内の並置領域（すなわち、領域（1213））を有する。複数のコーディングブロック（1261）～（1269）のうちの1つのIBC参照領域から、並置領域（1213）を除外することができる。IBC参照領域は、以前に再構築されたCTB（1210）の領域（1214）と、並置領域（1213）の後、かつ現在の領域（1218）の前に再構築された、現在のCTB（1215）内の領域（1216）～（1217）とを含む。同様に、参照メモリサイズの制約により、IBC参照領域から領域（1211）～（1212）をさらに除外する。並置領域（1213）の位置は、現在の領域（1218）の位置から、128サンプルなどCTB幅だけオフセットされている。図12Cの例では、現在の領域（1218）が現在のCTB（1215）の左下領域にあるときは、並置領域（1213）もまた、以前に再構築されたCTB（1210）の左下領域にあり、検索領域から、以前に再構築されたCTB（1210）の左下領域を除外する。
【0139】
図12Cに示すように、現在のブロックが、現在のCTU（例えば、CTB（1215）で示す）の左下64×64ブロック（例えば、（1218）で示す）に分類される場合に、現在のCTU内の既に再構築されたサンプル（例えば、（1216）および（1217））に加えて、現在のCTUに対するルマ位置（64，0）がまだ再構築されていない場合、現在のブロックはまた、CPRモードを使用して、左CTUの右下64×64ブロック（例えば、（1214）で示す）内のサンプルを参照することができる。
【0140】
図12Dを参照すると、現在の領域（1219）が再構築中である。現在の領域（1219）は、複数のコーディングブロック（1281）～（1289）を含むことができる。現在の領域（1219）は、以前に再構築されたCTB（1210）内の並置領域（すなわち、領域（1214））を有する。複数のコーディングブロック（1281）～（1289）のうちの1つのIBC参照領域から、並置領域（1214）を除外することができる。IBC参照領域は、デコーディング順序で並置領域（1214）の後、かつ現在の領域（1219）の前に再構築された、現在のCTB（1215）内の領域（1216）～（1218）を含む。参照メモリサイズの制約により、IBC参照領域から領域（1211）～（1213）を除外し、したがってIBC参照領域から、以前に再構築されたCTB（1210）を除外する。同様に、並置領域（1214）の位置は、現在の領域（1219）の位置から、128サンプルなどCTB幅だけオフセットされている。図12Dの例では、現在の領域（1219）が現在のCTB（1215）の右下領域にあるときは、並置領域（1214）もまた、以前に再構築されたCTB（1210）の右下領域にあり、検索領域から、以前に再構築されたCTB（1210）の右下領域を除外する。
【0141】
図12Dでは、現在のブロックは、現在のCTUの右下64×64ブロック（（1219）で示す）に分類され、それは、CPRモードを使用して、現在のCTU内の既に再構築されたサンプル（例えば、（1216）、（1217）および（1218））のみを参照することができる。
【0142】
【0143】
本開示の一態様によれば、テンプレートマッチング（TM）検索は、現在のピクチャ内のテンプレート（すなわち、現在のCUの上および／または左の隣接ブロック）と参照ピクチャ内のブロック（すなわち、テンプレートと同じサイズであり、参照テンプレートと呼ばれる）との間の最も近い一致を見つけることによって現在のCUの動き情報を改良するデコーダ側MV導出技術を指す。
【0144】
図13は、いくつかの実施形態におけるテンプレートマッチング検索の一例を示す。図13の例では、現在のピクチャ（1310）は再構築中の現在のCUを含み、現在のCUの現在のテンプレートは、現在のCUに隣接する上のブロックおよび左のブロックを含む。上のブロックおよび左のブロックは、現在のCUの現在のテンプレートを形成する。現在のピクチャ（1310）の参照ピクチャ（1320）では、初期動きベクトル（MV）は参照位置を指し示し、検索領域（1350）は、XおよびY方向において参照位置の［－8pel，＋8pel］内の領域として定義される。
【0145】
一例では、テンプレートマッチング検索を使用して、参照テンプレートと現在のテンプレートとの間の最も近い一致を有する検索領域（1350）内のより良好なMVが検索される。いくつかの例では、テンプレートマッチング技術は、AMVRモードに基づいて決定される検索ステップサイズを使用することができ、テンプレートマッチング検索を、マージモードのバイラテラルマッチングプロセスとカスケードすることができる。
【0146】
いくつかの例では、AMVPモードでは、現在のテンプレートと参照テンプレートとの間の差が最小であるMVP候補を選択することができるテンプレート誤差計算に基づいて候補のリストから動きベクトル予測子（MVP）候補が選択される。次に、このMV改良のための特定のMVP候補に基づいてテンプレートマッチング検索が実行される。いくつかの例では、テンプレートマッチング検索は、反復ダイヤモンド検索パターンを使用することによって、［－8，＋8］pel検索範囲内のフルpelの動きベクトル差（MVD）精度（または4pelのAMVRモードの場合は4pel）から開始して、このMVP候補を改良する。AMVP候補は、フルpelのMVD精度（または4pelのAMVRモードの場合は4pel）の横断検索パターンを使用し、続いてAMVRモードに応じてハーフpelの横断検索パターンおよびクォーターpelの横断検索パターンを順次使用することによってさらに改良され得る。この検索プロセスは、MVP候補がTM検索プロセス後にAMVRモードによって示されるのと同じMV精度を維持することを保証する。
【0147】
図14は、いくつかの例におけるAMVRおよびマージモードの検索パターンの表（1400）を示す。
【0148】
いくつかの例では、マージモードでは、マージインデックスによって示されるマージ候補に同様の検索方法が適用される。図14の表に示すように、TM検索は、代替補間フィルタ（AMVRがハーフpelモードであるときに使用される）がマージされた動き情報に従って使用されるかどうかに応じて、1／8pelのMVD精度まで実行してもよく、ハーフpelのMVD精度を超えるものをスキップしてもよい。例えば、変数AltIFが0であることは、代替補間フィルタが使用されていないことを示し、TM検索は1／8pelのMVD精度まで実行してもよく、変数AltIFが1であることは、代替補間フィルタが使用されることを示し、TM検索はハーフpel精度まで実行してもよい。さらに、TMモードが有効にされると、テンプレートマッチングは、有効化条件チェックに従ってバイラテラルマッチングを有効にすることができるか否かに応じて、ブロックベースおよびサブブロックベースのバイラテラルマッチング方法の間の独立したプロセスまたは追加のMV改良プロセスとして機能し得る。
【0149】
本開示のいくつかの態様によれば、ブロックベクトル改良を達成するために、IBCマージ候補に基づいてテンプレートマッチング検索を実行するために、IBCモードにおいてテンプレートマッチング技術を使用することができる。
【0150】
本開示の一態様によれば、IBCモードのマージ候補リストの場合、特定の数の候補しかマージ候補リスト上に存在することができず、マージインデックスはマージ候補リスト内の1つを示すようにシグナリングされる。しかしながら、テンプレートマッチング方法を使用して、デコーダは、テンプレートに基づいて近いブロックベクトルを検索することによって最良のブロックベクトルを導出することができる可能性がある。さらに、IBCマージ候補リストを構築する間、IBC参照領域の外側にある候補BVは無効であると見なされ、無効な候補BVはマージ候補リストから除去される。しかしながら、これらの無効な候補BVから最良のBVが得られる場合がある。
【0151】
本開示のいくつかの態様は、マージ候補リスト内の無効なBVを可能にする技術を提供し、IBCモードにおいてより良好なBV（例えば、テンプレート誤差が少ない）を達成するために、無効なBVに基づいてテンプレートマッチング検索を実行することができる。
【0152】
一実施形態では、テンプレートマッチングがIBCマージ候補に適用されるかどうかを示すためにフラグを使用することができる。
【0153】
図15は、いくつかの実施形態におけるテンプレートマッチングのための擬似コード（1500）の一例を示す。
【0154】
図15の例では、現在のブロック（PU）がIBCモードにあるとき、現在のブロックがIBC AMVPモードでコーディングされているか、またはIBCマージモードでコーディングされているかを示すために、コーディングされたビットストリームで第1のフラグ（例えば、merge＿flagで表される）がシグナリングされる。図15の（1501）に示すように、第1のフラグをビットストリームから構文解析することができる。第1のフラグ（merge＿flag）が1に等しいとき、現在のブロックはIBCマージモードを使用してコーディングされる。現在のブロックがIBCマージモードにあるとき、第2のフラグ（例えば、template＿matching＿ibc＿merge＿flagによって表される）およびマージインデックス（例えば、merge＿idxで表される）がコーディングされたビットストリーム内でシグナリングされる。第2のフラグを、図15の（1502）によって示されるようにコーディングされたビットストリームから構文解析することができ、マージインデックスを、図15の（1503）によって示されるようにコーディングされたビットストリームから構文解析することができる。
【0155】
マージインデックスは、IBCマージ候補リスト内の候補BVを示す。第2フラグ（例えば、template＿matching＿ibc＿merge＿flag）が1に等しいとき、IBCマージ候補リストのマージインデックスが示す候補BVを初期BVとしてテンプレートマッチング検索を実行することができる。第2のフラグ（template＿matching＿ibc＿merge＿flag）が0に等しいとき、一例では、テンプレートマッチング検索が無効化され、マージインデックスが示す候補BVが、現在のブロック（現在のPU）を再構築するために参照ブロックを指すブロックベクトルとして使用される。
【0156】
いくつかの実施形態では、テンプレートマッチング検索はIBCマージモードと結び付けられる。したがって、テンプレートマッチング検索は、第2のフラグ（例えば、template＿matching＿ibc＿merge＿flag）をシグナリングすることなく、IBCマージモードで適用され得る。マージインデックスは、テンプレートマッチングのための初期BVとして使用されるIBCマージ候補リストからの候補BVを示すようにシグナリングされ得る。
【0157】
本開示の別の態様によれば、IBCマージ候補リストの構築中に、各IBCマージ候補の有効性をチェックするプロセスにおいて、IBC参照領域のみを使用する代わりに、テンプレートマッチング検索範囲（Sr）がIBC参照領域とともに考慮される。
【0158】
図16は、本開示の一実施形態によるIBCの一例を示す。図16において、現在のピクチャ（1601）は、再構築中の現在のCTB（1615）と、現在のCTB（1615）の左隣にある、以前に再構築されたCTB（1610）とを含む。現在のCTB（1615）は、4つの領域（1616）～（1619）を含む。同様に、以前に再構築されたCTB（1610）も4つの領域（1611）～（1614）を含む。一実施形態では、CTBサイズは最大CTBサイズであり、参照メモリサイズと等しい。一例では、CTBサイズおよび参照メモリサイズは128×128サンプルであり、したがって各領域（1611）～（1614）および（1616）～（1619）は、64×64サンプルのサイズを有する。
【0159】
図16の例では、現在の領域（1616）は再構築中である。現在の領域（1616）は、並置領域、すなわち以前に再構築されたCTB（1610）内の領域（1611）を有する。再構築される現在のブロック（1650）のためのIBC参照領域から、並置領域（1611）を除外することができる。IBC参照領域は、デコーディング順序で並置領域（1611）の後、かつ現在の領域（1616）の前に再構築された、以前に再構築されたCTB（1610）の領域（1612）～（1614）を含むことができる。
【0160】
図16の例において、矢印（1651）は、IBCマージ候補リストにおける候補BVを示す。候補BVは位置Aを指し示している。位置Aの周囲の矩形ボックス（1652）は、Srで表すことができるテンプレートマッチング検索範囲である。一例では、位置Aは2次元座標（x0，y0）を有する。そして、（x0－Sr，y0－Sr）、（x0＋Sr，y0－Sr）、（x0－Sr，y0＋Sr）、（x0＋Sr，y0＋Sr）の四隅によって、矩形ボックス（1652）を定義することができる。いくつかの関連する例において、候補BV（1651）は、位置AがIBC参照領域の外側にある（領域（1611）がIBC参照領域から除外される）ので、無効であると考えられ、IBCマージ候補リストに入れられない。
【0161】
いくつかの実施形態では、候補BV（1651）などの無効なマージ候補をIBCマージ候補リストに挿入することができる。候補BV（1651）に基づいてテンプレートマッチング検索を実行するために、位置A（候補BV（1651）によって指し示される）は、IBC参照範囲内に、例えば、位置Aに対して有効なIBC参照範囲内の最も近い位置である位置Cに移動される。次いで、テンプレートマッチング検索は、位置Cからテンプレートマッチング検索範囲内のさらなる検索および改良を開始することができる。図16の例では、領域（1612）の左上隅Bが（x1，y1）の2D座標を有する場合、位置Cは、例では（x1，y0）の2D座標を有することができる。
【0162】
いくつかの実施形態では、IBCマージ候補の検証チェック中に、BVのテンプレートマッチング検索範囲がIBC参照領域と部分的または完全に並置されている場合、候補BVは有効であると見なされる。図16の例では、候補BV（1651）に対するテンプレートマッチング検索領域（1652）は、IBC参照領域（領域（1612）、領域（1613）、領域（1614）を含む）と部分的に重複するので、候補BV（1651）を有効であると見なして、IBCマージ候補リストに入れることができる。別の例では、x0＋Sr＞x1である場合、候補BV（1651）は有効である。同様に、y0＋Sr＞y1である場合、候補BV（1651）は有効である。
【0163】
また、本開示の一態様によれば、テンプレートマッチング検索の際に、中間ブロックベクトルがIBC参照領域の外側にある場合には、中間ブロックベクトルを考慮せず、中間ブロックベクトルに関するテンプレートマッチング計算（例えば、現在のテンプレートと中間ブロックベクトルによって指し示される参照テンプレートとの差分計算）をスキップすることができる。
【0164】
図17は、本開示の一実施形態によるプロセス（1700）の概要を示すフローチャートを示す。プロセス（1700）は、ビデオエンコーダで使用され得る。様々な実施形態において、プロセス（1700）は、端末デバイス（310）、（320）、（330）、および（340）の処理回路、ビデオエンコーダ（403）の機能を実行する処理回路、ビデオエンコーダ（603）の機能を実行する処理回路、ビデオエンコーダ（703）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1700）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1700）を実行する。プロセスは（S17301）から開始され、（S1710）に進む。
【0165】
（S1710）において、現在のコーディングツリーユニット（CTU）内の現在のブロックを予測するための初期ブロックベクトルは、現在のブロックがIBCモードにあるときに決定される。
【0166】
（S1720）において、テンプレートマッチング検索が初期ブロックベクトルに基づいて実行されて、現在のブロックと同じピクチャ内の参照ブロックを指す改良されたブロックベクトルが決定される。
【0167】
（S1730）において、再構築された現在のブロックが参照ブロックに基づいて生成される。
【0168】
（S1740）において、ピクチャを搬送するコーディングされたビデオビットストリームは、初期ブロックベクトルを示す情報を含むようにエンコーディングされる。
【0169】
いくつかの例では、マージ候補リストからブロックベクトル候補を示すマージインデックスがコーディングされたビデオビットストリームにおいてエンコーディングされ、初期ブロックベクトルはブロックベクトル候補に基づいて決定される。いくつかの例では、ブロックベクトル候補は、ブロックマッチングまたはハッシュベースの動き推定のうちの少なくとも1つを使用してエンコーダによって決定される。
【0170】
一例では、IBCマージモードを示す第1のフラグがコーディングされたビデオビットストリームにおいてエンコーディングされ、テンプレートマッチング検索を実行することを示す第2のフラグがコーディングされたビデオビットストリームにおいてエンコーディングされる。
【0171】
別の例では、IBCマージモードを示し、テンプレートマッチング検索エンコーディングを実行するための第1のフラグが、コーディングされたビデオビットストリームにおいてエンコーディングされる。
【0172】
いくつかの実施形態では、マージ候補リストは、IBC参照領域の外側にある第1の位置を指し示す第1のブロックベクトル候補を少なくとも含むように構成される。一例では、第1のブロックベクトル候補に基づいて初期ブロックベクトルを決定するために、IBC参照領域内の第1の位置に最も近い位置が決定され、初期ブロックベクトルは最も近い位置を指し示すように決定される。
【0173】
いくつかの実施形態では、マージ候補リストを構築するために、第1のブロックベクトル候補のテンプレートマッチング検索領域がIBC参照領域と重複するという判定に応答して、第1のブロックベクトル候補がマージ候補リストに挿入される。
【0174】
いくつかの例では、IBC参照領域は、現在のCTUの再構築された部分と、CTUを格納するためのサイズのメモリ空間にキャッシュされている左CTUの領域とを含む。
【0175】
いくつかの例では、テンプレートマッチング検索を実行するために、IBC参照領域外にあるテンプレートマッチング検索領域の一部がテンプレートマッチング検索から除外される。
【0176】
その後、プロセスはステップ（S1799）に進んで終了する。
【0177】
プロセス（1700）は、適切に適応され得る。プロセス（1700）の（1つまたは複数の）ステップは、修正および／または省略され得る。（1つまたは複数の）追加のステップを追加することができる。任意の適切な実施順序を使用できる。
【0178】
図18は、本開示の一実施形態によるプロセス（1800）の概要を示すフローチャートを示す。プロセス（1800）は、ビデオデコーダで使用され得る。様々な実施形態では、プロセス（1800）は、端末デバイス（310）、（320）、（330）、および（340）の処理回路、ビデオデコーダ（410）の機能を実行する処理回路、ビデオデコーダ（510）の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（1800）はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（1800）を実行する。プロセスは（S1801）から始まり、（S1810）に進む。
【0179】
（S1810）において、現在のコーディングツリーユニット（CTU）内の現在のブロックを予測するための初期ブロックベクトルは、現在のブロックがIBCモードにあるときに決定される。
【0180】
（S1820）において、テンプレートマッチング検索が初期ブロックベクトルに基づいて実行されて、現在のブロックと同じピクチャ内の参照ブロックを指す改良されたブロックベクトルが決定される。
【0181】
（S1830）において、再構築された現在のブロックが参照ブロックに基づいて生成される。
【0182】
いくつかの例では、初期ブロックベクトルは、マージインデックスに基づいてピクチャを搬送するコーディングされたビデオビットストリームから決定される。マージインデックスは、マージ候補リストからブロックベクトル候補を示す。
【0183】
一例では、IBCマージモードを示す第1のフラグがコーディングされたビデオビットストリームから構文解析される。次いで、コーディングされたビデオビットストリームから、テンプレートマッチング検索を実行することを示す第2のフラグが構文解析される。
【0184】
別の例では、ピクチャを搬送するコーディングされたビデオビットストリームから、IBCマージモードを示し、テンプレートマッチング検索を実行するフラグが構文解析される。
【0185】
いくつかの例では、マージ候補リストは、IBC参照領域の外側にある第1の位置を指し示す第1のブロックベクトル候補を少なくとも含むように構築される。第1のブロックベクトル候補を示すマージインデックスに応答して、IBC参照領域内の第1の位置に最も近い位置が決定され、初期ブロックベクトルは最も近い位置を指し示すように決定される。
【0186】
いくつかの例では、マージ候補リストを構築するために、第1のブロックベクトル候補のテンプレートマッチング検索領域がIBC参照領域と重複するという判定に応答して、第1のブロックベクトル候補がマージ候補リストに挿入される。
【0187】
いくつかの例では、テンプレートマッチング検索を実行するために、IBC参照領域外にあるテンプレートマッチング検索領域の一部がテンプレートマッチング検索から除外される。
【0188】
いくつかの例では、IBC参照領域は、現在のCTUの再構築された部分と、CTUを格納するためのサイズのメモリ空間にキャッシュされている左CTUの領域とを含む。
【0189】
次いで、プロセスは（S1899）に進み、終了する。
【0190】
プロセス（1800）は、適切に適応され得る。プロセス（1800）の（1つまたは複数の）ステップは、変更および／または省略され得る。（1つまたは複数の）追加のステップを追加することができる。任意の適切な実施順序を使用できる。
【0191】
上記で説明した技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に格納され得る。例えば、図19は、開示される主題の特定の実施形態を実施するのに適したコンピュータシステム（1900）を示す。
【0192】
コンピュータソフトウェアは、1つまたは複数のコンピュータ中央処理装置（CPU：central processing unit）およびグラフィックス処理装置（GPU：Graphics Processing Unit）などによって直接的に、または解釈およびマイクロコードの実行などを介して実行され得る命令を含むコードを生成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。
【0193】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行され得る。
【0194】
コンピュータシステム（1900）に関して図19に示される構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（1900）の例示的な実施形態に示されている構成要素のいずれか1つまたは組み合わせに関して依存性も要件も有していないと解釈されるべきである。
【0195】
コンピュータシステム（1900）は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、音声入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、1人または複数の人間のユーザによる入力に応答し得る。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（二次元ビデオ、立体ビデオを含む三次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体を取り込むことができる。
【0196】
入力ヒューマンインターフェースデバイスは、キーボード（1901）、マウス（1902）、トラックパッド（1903）、タッチスクリーン（1910）、データグローブ（図示せず）、ジョイスティック（1905）、マイクロフォン（1906）、スキャナ（1907）、カメラ（1908）のうち1つまたは複数（それぞれ1つのみ図示）を含み得る。
【0197】
コンピュータシステム（1900）はまた、特定のヒューマンインターフェース出力デバイスを含み得る。このようなヒューマンインターフェース出力デバイスは、例えば触覚出力、音、光、および匂い／味によって1人または複数の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（1910）、データグローブ（図示せず）、またはジョイスティック（1905）による触覚フィードバックを含み得るが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、音声出力デバイス（スピーカ（1909）、ヘッドホン（図示せず）など）、視覚的出力デバイス（それぞれにタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、ステレオグラフィック出力、仮想現実の眼鏡（図示せず）、ホログラフィックディスプレイおよびスモークタンク（図示せず）などの手段により、2次元の視覚的出力または3次元以上の出力を出力できるものもある、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン（1910）など）、およびプリンタ（図示せず）を含み得る。
【0198】
コンピュータシステム（1900）はまた、CD／DVDなどの媒体（1921）を伴うCD／DVD ROM／RW（1920）を含む光学媒体、サムドライブ（1922）、リムーバブルハードドライブまたはソリッドステートドライブ（1923）、テープやフロッピーディスクなどのレガシー磁気媒体（図示せず）、ならびにセキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなど、人間がアクセス可能なストレージデバイスおよびこれに関連する媒体含むこともできる。
【0199】
当業者はまた、現在開示されている主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するはずである。
【0200】
コンピュータシステム（1900）はまた、1つまたは複数の通信ネットワーク（1955）へのインターフェース（1954）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、広域、メトロポリタン、車両および産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例は、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビおよび地上波テレビを含むテレビの有線または無線広域デジタルネットワーク、CANBusを含む車両用および産業用などを含む。特定のネットワークは、一般的には、特定の汎用データポートまたは周辺バス（1949）（例えば、コンピュータシステム（1900）のUSBポートなど）に接続される外部ネットワークインターフェースアダプタを必要とし、他のものは、一般的には、以下で説明されるようにシステムバスへの接続によってコンピュータシステム（1900）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1900）は他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbusデバイスへのCANbus）、または例えばローカルもしくはワイドエリアデジタルネットワークを使用した他のコンピュータシステムに対する双方向のものであり得る。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用され得る。
【0201】
前述のヒューマンインターフェースデバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム（1900）のコア（1940）に接続され得る。
【0202】
コア（1940）は、1つまたは複数の中央処理装置（CPU）（1941）、グラフィックス処理装置（GPU）（1942）、フィールドプログラマブルゲートエリア（FPGA）（1943）の形式の専用のプログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（1944）、およびグラフィックスアダプタ（1950）などを含み得る。これらのデバイスは、読み取り専用メモリ（ROM）（1945）、ランダムアクセスメモリ（1946）、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量記憶装置（1947）とともに、システムバス（1948）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（1948）に1つまたは複数の物理プラグの形でアクセスして、追加のCPU、GPUなどによる拡張を可能にすることができる。周辺機器を、コアのシステムバス（1948）に直接取り付けることも、周辺バス（1949）を介して取り付けることもできる。一例では、スクリーン（1910）は、グラフィックスアダプタ（1950）に接続され得る。周辺バスのアーキテクチャは、PCI、USBなどを含む。
【0203】
CPU（1941）、GPU（1942）、FPGA（1943）、およびアクセラレータ（1944）は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行できる。そのコンピュータコードを、ROM（1945）またはRAM（1946）に格納することができる。移行データはRAM（1946）にも格納され得るが、永続データは、例えば内部大容量記憶装置（1947）に格納され得る。1つまたは複数のCPU（1941）、GPU（1942）、大容量記憶装置（1947）、ROM（1945）、RAM（1946）などと密接に関連付けられ得るキャッシュメモリを使用することにより、任意のメモリデバイスに対する高速記憶および読み出しが可能になる。
【0204】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実行するためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
【0205】
限定としてではなく一例として、アーキテクチャを有するコンピュータシステム（1900）、具体的にはコア（1940）は、1つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、およびアクセラレータなどを含む）の結果として機能を提供することができる。このようなコンピュータ可読媒体は、上記で紹介したユーザがアクセス可能な大容量記憶装置、およびコア内部大容量記憶装置（1947）やROM（1945）などの非一時的な性質を持つコア（1940）の特定の記憶装置に関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア（1940）によって実行され得る。コンピュータ可読媒体は、特定のニーズに従って、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（1940）、特にその中のプロセッサ（CPU、GPU、FPGAなどを含む）に、RAM（1946）に格納されているデータ構造の定義すること、ソフトウェアで定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書で説明する特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、本明細書で説明する特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと一緒に動作できる、回路（例えば、アクセラレータ（1944））に組み込まれたまたは他の方法で具現化されたロジックの結果として機能を提供できる。必要に応じて、ソフトウェアへの言及はロジックを包含することができ、その逆も同様である。必要に応じて、コンピュータ可読媒体への言及は、実行のためのソフトウェアを格納する回路（集積回路（IC：integrated circuit）など）、実行のためのロジックを具体化する回路、またはこれらの両方を包含し得る。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
【0206】
付記A：頭字語
JEM：共同検索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOPs：ピクチャグループ
TUs：変換ユニット
PUs：予測ユニット
CTUs：コーディングツリーユニット
CTBs：コーディングツリーブロック
PBs：予測ブロック
HRD：仮想参照デコーダ
SNR：信号ノイズ比
CPUs：中央処理装置
GPUs：グラフィックス処理装置
CRT：ブラウン管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
JEM：共同検索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足拡張情報
VUI：ビデオユーザビリティ情報
GOPs：ピクチャグループ
TUs：変換ユニット
PUs：予測ユニット
CTUs：コーディングツリーユニット
CTBs：コーディングツリーブロック
PBs：予測ブロック
HRD：仮想参照デコーダ
SNR：信号ノイズ比
CPUs：中央処理装置
GPUs：グラフィックス処理装置
CRT：ブラウン管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
【0207】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書では明示的に示されていないか、または説明されていないが、本開示の原理を具現化し、したがってその趣旨および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
【符号の説明】
【0208】
101 矢印が収束する点、サンプル
102 矢印
103 矢印
104 正方形ブロック
110 概略図
201 ブロック
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 通信ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 ビデオデータ、ビットストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
407 ビデオデータのコピー
408 クライアントサブシステム
409 ビデオデータのコピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダデバイス
515 バッファメモリ
520 エントロピーデコーダ／パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット、イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 ピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ、ビデオコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 ローカルデコーダ、ローカルビデオデコーダ
634 参照ピクチャメモリ、参照ピクチャキャッシュ
635 予測器
640 送信機
643 ビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構築モジュール
880 インターデコーダ
900 ピクチャ
910 再構築されたエリア
920 デコーディング対象領域
930 ブロック
940 参照ブロック
950 ブロックベクトル
960 IBC参照領域
1001 ピクチャ
1010 再構築されたCTB
1011 並置領域
1012 並置領域
1013 並置領域
1014 領域
1015 CTB
1016 領域
1017 領域
1018 領域
1019 領域
1020 ブロックベクトル
1021 コーディングブロック、参照ブロック
1022 コーディングブロック
1023 コーディングブロック
1024 コーディングブロック
1025 コーディングブロック
1026 コーディングブロック
1027 コーディングブロック
1028 コーディングブロック
1029 コーディングブロック
1091 参照ブロック
1101 ピクチャ
1110 再構築されたCTB
1111 領域
1112 領域
1113 領域
1114 領域
1115 CTB
1116 並置領域
1117 領域
1118 領域
1119 領域
1121 コーディングブロック、参照ブロック
1122 コーディングブロック
1123 コーディングブロック
1124 コーディングブロック
1125 コーディングブロック
1126 コーディングブロック
1127 コーディングブロック
1128 コーディングブロック
1129 コーディングブロック
1201 ピクチャ
1210 再構築されたCTB
1211 並置領域
1212 並置領域
1213 並置領域
1214 並置領域
1215 CTB
1216 領域
1217 領域
1218 領域
1219 領域、64×64ブロック
1221 コーディングブロック
1222 コーディングブロック
1223 コーディングブロック
1224 コーディングブロック
1225 コーディングブロック
1226 コーディングブロック
1227 コーディングブロック
1228 コーディングブロック
1229 コーディングブロック
1241 コーディングブロック
1242 コーディングブロック
1243 コーディングブロック
1244 コーディングブロック
1245 コーディングブロック
1246 コーディングブロック
1247 コーディングブロック
1248 コーディングブロック
1249 コーディングブロック
1261 コーディングブロック
1262 コーディングブロック
1263 コーディングブロック
1264 コーディングブロック
1265 コーディングブロック
1266 コーディングブロック
1267 コーディングブロック
1268 コーディングブロック
1269 コーディングブロック
1281 コーディングブロック
1282 コーディングブロック
1283 コーディングブロック
1284 コーディングブロック
1285 コーディングブロック
1286 コーディングブロック
1287 コーディングブロック
1288 コーディングブロック
1289 コーディングブロック
1310 ピクチャ
1320 参照ピクチャ
1350 検索領域
1500 テンプレートマッチングのための擬似コード
1601 ピクチャ
1610 再構築されたCTB
1611 並置領域
1612 IBC参照領域
1613 領域
1614 領域
1615 CTB
1616 領域
1617 領域
1618 領域
1619 領域
1650 ブロック
1651 矢印、候補BV
1652 矩形ボックス、テンプレートマッチング検索領域
1700 プロセス
1800 プロセス
1900 コンピュータシステム
1901 キーボード
1902 マウス
1903 トラックパッド
1905 ジョイスティック
1906 マイクロフォン
1907 スキャナ
1908 カメラ
1909 音声出力デバイススピーカ
1910 タッチスクリーン
1920 CD／DVD ROM／RW
1921 CD／DVDなどの媒体
1922 サムドライブ
1923 リムーバブルハードドライブまたはソリッドステートドライブ
1940 コア
1941 中央処理装置（CPU）
1942 グラフィックス処理装置（GPU）
1943 フィールドプログラマブルゲートエリア（FPGA）
1944 ハードウェアアクセラレータ
1945 読み取り専用メモリ（ROM）
1946 ランダムアクセスメモリ（RAM）
1947 コア内部大容量記憶装置
1948 システムバス
1949 周辺バス
1950 グラフィックスアダプタ
1954 インターフェース
1955 通信ネットワーク
102 矢印
103 矢印
104 正方形ブロック
110 概略図
201 ブロック
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 通信ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 ビデオデータ、ビットストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
407 ビデオデータのコピー
408 クライアントサブシステム
409 ビデオデータのコピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダデバイス
515 バッファメモリ
520 エントロピーデコーダ／パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラ予測ユニット、イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 ピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ、ビデオコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 ローカルデコーダ、ローカルビデオデコーダ
634 参照ピクチャメモリ、参照ピクチャキャッシュ
635 予測器
640 送信機
643 ビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構築モジュール
880 インターデコーダ
900 ピクチャ
910 再構築されたエリア
920 デコーディング対象領域
930 ブロック
940 参照ブロック
950 ブロックベクトル
960 IBC参照領域
1001 ピクチャ
1010 再構築されたCTB
1011 並置領域
1012 並置領域
1013 並置領域
1014 領域
1015 CTB
1016 領域
1017 領域
1018 領域
1019 領域
1020 ブロックベクトル
1021 コーディングブロック、参照ブロック
1022 コーディングブロック
1023 コーディングブロック
1024 コーディングブロック
1025 コーディングブロック
1026 コーディングブロック
1027 コーディングブロック
1028 コーディングブロック
1029 コーディングブロック
1091 参照ブロック
1101 ピクチャ
1110 再構築されたCTB
1111 領域
1112 領域
1113 領域
1114 領域
1115 CTB
1116 並置領域
1117 領域
1118 領域
1119 領域
1121 コーディングブロック、参照ブロック
1122 コーディングブロック
1123 コーディングブロック
1124 コーディングブロック
1125 コーディングブロック
1126 コーディングブロック
1127 コーディングブロック
1128 コーディングブロック
1129 コーディングブロック
1201 ピクチャ
1210 再構築されたCTB
1211 並置領域
1212 並置領域
1213 並置領域
1214 並置領域
1215 CTB
1216 領域
1217 領域
1218 領域
1219 領域、64×64ブロック
1221 コーディングブロック
1222 コーディングブロック
1223 コーディングブロック
1224 コーディングブロック
1225 コーディングブロック
1226 コーディングブロック
1227 コーディングブロック
1228 コーディングブロック
1229 コーディングブロック
1241 コーディングブロック
1242 コーディングブロック
1243 コーディングブロック
1244 コーディングブロック
1245 コーディングブロック
1246 コーディングブロック
1247 コーディングブロック
1248 コーディングブロック
1249 コーディングブロック
1261 コーディングブロック
1262 コーディングブロック
1263 コーディングブロック
1264 コーディングブロック
1265 コーディングブロック
1266 コーディングブロック
1267 コーディングブロック
1268 コーディングブロック
1269 コーディングブロック
1281 コーディングブロック
1282 コーディングブロック
1283 コーディングブロック
1284 コーディングブロック
1285 コーディングブロック
1286 コーディングブロック
1287 コーディングブロック
1288 コーディングブロック
1289 コーディングブロック
1310 ピクチャ
1320 参照ピクチャ
1350 検索領域
1500 テンプレートマッチングのための擬似コード
1601 ピクチャ
1610 再構築されたCTB
1611 並置領域
1612 IBC参照領域
1613 領域
1614 領域
1615 CTB
1616 領域
1617 領域
1618 領域
1619 領域
1650 ブロック
1651 矢印、候補BV
1652 矩形ボックス、テンプレートマッチング検索領域
1700 プロセス
1800 プロセス
1900 コンピュータシステム
1901 キーボード
1902 マウス
1903 トラックパッド
1905 ジョイスティック
1906 マイクロフォン
1907 スキャナ
1908 カメラ
1909 音声出力デバイススピーカ
1910 タッチスクリーン
1920 CD／DVD ROM／RW
1921 CD／DVDなどの媒体
1922 サムドライブ
1923 リムーバブルハードドライブまたはソリッドステートドライブ
1940 コア
1941 中央処理装置（CPU）
1942 グラフィックス処理装置（GPU）
1943 フィールドプログラマブルゲートエリア（FPGA）
1944 ハードウェアアクセラレータ
1945 読み取り専用メモリ（ROM）
1946 ランダムアクセスメモリ（RAM）
1947 コア内部大容量記憶装置
1948 システムバス
1949 周辺バス
1950 グラフィックスアダプタ
1954 インターフェース
1955 通信ネットワーク
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12A】
【図12B】
【図12C】
【図12D】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
