特許7585487ＩＢＣ及びイントラ予測を用いた幾何学的パーティションモードのためのイントラ予測モード情報伝搬
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】ＩＢＣ及びイントラ予測を用いた幾何学的パーティションモードのためのイントラ予測モード情報伝搬
(51)【国際特許分類】
H04N 19/593 20140101AFI20241111BHJP
H04N 19/11 20140101ALI20241111BHJP
H04N 19/157 20140101ALI20241111BHJP
H04N 19/176 20140101ALI20241111BHJP
【ＦＩ】
H04N19/593
H04N19/11
H04N19/157
H04N19/176
【請求項の数】
11
(21)【出願番号】P 2023528172
(86)(22)【出願日】2022-08-30
(65)【公表番号】
(43)【公表日】2023-11-30
(86)【国際出願番号】 US2022075666
(87)【国際公開番号】W WO2023034798
(87)【国際公開日】2023-03-09
【審査請求日】2023-05-10
(31)【優先権主張番号】63/239,221
(32)【優先日】2021-08-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/898,447
(32)【優先日】2022-08-29
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520353802
【氏名又は名称】テンセント・アメリカ・エルエルシー
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】リェン－フェイ・チェン
(72)【発明者】
【氏名】シアン・リ
(72)【発明者】
【氏名】シャン・リュウ
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第２０２０／２４４５０３（ＷＯ，Ａ１）
【文献】国際公開第２０２０／２３２３５５（ＷＯ，Ａ１）
【文献】Lien-Fei Chen, Xiang Li, Ling Li, and Shan Liu，EE2-related: On propagating intra prediction mode for IBC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29，JVET-X0100-v3，24th Meeting, by teleconference，2021年10月，pp.1-4
【文献】Hyeongmun Jang, et al.，EE2-related: intra mode derivation based on TIMD for GPM inter/intra，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29，JVET-X0147，24th Meeting, by teleconference，2021年10月，pp.1-4
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ ー １９／９８
(57)【特許請求の範囲】
【請求項1】
ビデオデコーダが実行するビデオ復号の方法であって、符号化されたビデオビットストリームからビデオのカレントピクチャ内のカレントブロックの符号化された情報を受信するステップであって、前記符号化された情報は、前記カレントブロックが幾何学的パーティションモード（GPM）に基づいて少なくとも第1のパーティションと第2のパーティションとに分割されていることを示し、前記第1のパーティションはイントラブロックコピー（IBC）予測モードに関連付けられ、前記第2のパーティションはイントラ予測モードに関連付けられる、ステップと、
前記カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報を記憶するステップであって、前記予測モード情報は、前記第1のサブブロックが前記IBC予測モード、前記イントラ予測モード、及び前記IBC予測モードと前記イントラ予測モードとの両方のうちの1つに関連付けられているかどうかに基づいて、DCモード、Planarモード、及びイントラ予測モードのうちの1つを含む、ステップと
を含む、方法。
【請求項2】
前記記憶された予測モード情報を使用して前記カレントブロックの隣接ブロックの最確モード（MPM）導出を実施するステップをさらに含む、請求項1に記載の方法。
【請求項3】
前記第1のサブブロックが前記IBC予測モードに関連付けられていることに基づいて、前記予測モード情報を記憶する前記ステップは、前記カレントブロックの前記複数のサブブロックのうちの前記第1のサブブロックの前記予測モード情報に前記Planarモードのみを記憶することを含む、請求項1に記載の方法。
【請求項4】
前記第1のサブブロックが前記イントラ予測モードに関連付けられていることに基づいて、前記予測モード情報を記憶する前記ステップは、前記カレントブロックの前記複数のサブブロックのうちの前記第1のサブブロックの前記予測モード情報に前記イントラ予測モードのみを記憶することを含む、請求項1に記載の方法。
【請求項5】
前記第1のサブブロックが前記IBC予測モードと前記イントラ予測モードとの両方に関連付けられていることに基づいて、前記予測モード情報を記憶する前記ステップは、前記カレントブロックの前記複数のサブブロックのうちの前記第1のサブブロックの前記予測モード情報に前記イントラ予測モードのみを記憶することを含む、請求項1に記載の方法。
【請求項6】
前記カレントブロックの前記第1のパーティションが前記IBC予測モードに関連付けられ、かつ前記カレントブロックの前記第2のパーティションが前記イントラ予測モードに関連付けられていることに基づいて、前記カレントブロックの前記複数のサブブロックの各々について前記DCモードを記憶するステップをさらに含む、請求項1に記載の方法。
【請求項7】
前記カレントブロックの前記第1のパーティションが前記IBC予測モードに関連付けられ、かつ前記カレントブロックの前記第2のパーティションが前記イントラ予測モードに関連付けられていることに基づいて、前記カレントブロックの前記複数のサブブロックの各々について前記Planarモードを記憶するステップをさらに含む、請求項1に記載の方法。
【請求項8】
前記カレントブロックの前記第1のパーティションが前記IBC予測モードに関連付けられ、かつ前記カレントブロックの前記第2のパーティションが前記イントラ予測モードに関連付けられていることに基づいて、前記カレントブロックの前記複数のサブブロックの各々について前記イントラ予測モードを記憶するステップをさらに含む、請求項1に記載の方法。
【請求項9】
前記カレントブロックの前記複数のサブブロックのうちの前記第1のサブブロックの前記予測モード情報は、前記カレントブロックの前記隣接ブロックの前記MPM導出のための伝搬イントラモードであり、前記隣接ブロックは前記IBC予測モードによって予測される、請求項2に記載の方法。
【請求項10】
請求項1～9のいずれか一項に記載の方法を行うように構成された処理回路を備える装置。
【請求項11】
少なくとも1つのプロセッサに請求項1～9のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2022年8月29日に出願された米国特許出願第17／898，447号「INTRA PREDICTION MODE INFORMATION PROPAGATION FOR GEOMETRIC PARTITION MODE WITH IBC AND INTRA PREDICTION」に対する優先権の利益を主張し、同出願は、2021年8月31日に出願された米国仮出願第63／239，221号「Intra Prediction Mode Information Propagation for Geometric Partition Mode with IBC and Intra Prediction」に対する優先権の利益を主張する。先行出願の開示は、それらの全体が参照により本明細書に組み込まれる。
本出願は、2022年8月29日に出願された米国特許出願第17／898，447号「INTRA PREDICTION MODE INFORMATION PROPAGATION FOR GEOMETRIC PARTITION MODE WITH IBC AND INTRA PREDICTION」に対する優先権の利益を主張し、同出願は、2021年8月31日に出願された米国仮出願第63／239，221号「Intra Prediction Mode Information Propagation for Geometric Partition Mode with IBC and Intra Prediction」に対する優先権の利益を主張する。先行出願の開示は、それらの全体が参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、ビデオコーディングに関係する実施形態を記載する。
【背景技術】
【0003】
本明細書において提供される背景技術の説明は、本開示の文脈を大まかに提示することを目的としている。ここに記名された発明者の仕事は、その仕事がこの背景技術セクションに記載されている程度まで、並びにさもなければ出願時に従来技術として適格ではない可能性がある説明の態様は、本開示に対する従来技術として、明示的にも黙示的にも認められていない。
【0004】
非圧縮デジタル画像及び／又はビデオは一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプル及び関連する彩度サンプルの空間次元を有する。一連のピクチャは、例えば毎秒60ピクチャ又は60Hzの固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を有することができる。非圧縮画像及び／又はビデオは特有のビットレート要件を有する。例えば、サンプルあたり8ビットでの1080p60 4：2：0ビデオ（60Hzのフレームレートで1920×1080の輝度サンプル解像度）は、1．5Gbit／sに近い帯域幅を必要とする。そのようなビデオの1時間は、600Gバイトを超える記憶空間を必要とする。
【0005】
画像及び／又はビデオコーディング及び復号の1つの目的は、圧縮による入力画像及び／又はビデオ信号の冗長性の低減であり得る。圧縮は、前述の帯域幅及び／又は記憶空間の要件を、場合によっては、2桁以上削減するのに役立つことができる。本明細書の説明は、説明のための例としてビデオの符号化／復号を使用するが、同じ技術は、本開示の趣旨から逸脱することなく、同様の方式で画像の符号化／復号に適用することができる。可逆圧縮と非可逆圧縮の両方、並びにそれらの組み合わせを採用することができる。可逆圧縮は、圧縮された元の信号から元の信号の正確なコピーを再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は元の信号と同一ではない可能性があるが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に有用なものにするほど十分小さい。ビデオの場合、非可逆圧縮が広く採用されている。容認される歪みの量はアプリケーションに依存し、例えば、特定の消費者向けストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを容認することができる。実現可能な圧縮比は、許容／耐容歪みが大きいほど、圧縮比が高くなり得ることを反映することができる。
【0006】
ビデオエンコーダ及びデコーダは、例えば、動き補償、変換処理、及びエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。
【0007】
ビデオコーデック技術は、イントラコーディングとして知られる技法を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャは空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードでコーディングされるとき、そのピクチャは、イントラピクチャであり得る。イントラピクチャ、及び独立したデコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用することができるので、コーディングされたビデオビットストリーム及びビデオセッション内の最初のピクチャとして、又は静止画像として使用することができる。イントラブロックのサンプルは変換を受けることができ、変換係数は、エントロピーコーディングの前に量子化されることが可能である。イントラ予測は、変換前領域内のサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップのサイズにおいて必要とされるビットは少なくなる。
【0008】
例えば、MPEG－2生成コーディング技術で使用される従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、データブロックの符号化／復号中に取得された周囲のサンプルデータ及び／又はメタデータに基づいて予測を実施しようと試みる技術を含む。そのような技術を、これ以降、「イントラ予測」技術と呼ぶ。少なくともいくつかの場合では、イントラ予測は再構成中のカレントピクチャからの参照データのみを使用し、参照ピクチャからは使用しないことに留意されたい。
【0009】
イントラ予測には、多くの異なる形式があり得る。そのような技術のうちの2つ以上を所与のビデオコーディング技術において使用できる場合、使用中の特定の技術を、特定の技術を使用する特定のイントラ予測モードとしてコーディングすることができる。特定の場合には、イントラ予測モードはサブモード及び／又はパラメータを有することができ、サブモード及び／又はパラメータを、個別にコーディングするか、又は使用される予測モードを定義するモードコードワードに含めることができる。所与のモード、サブモード、及び／又はパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、そのため、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術も影響を与える可能性がある。
【0010】
イントラ予測の特定のモードは、H．264で導入され、H．265において改良され、共同探索モデル（JEM）、多用途ビデオコーディング（VVC）、及びベンチマークセット（BMS）などのより新しいコーディング技術においてさらに改良された。既に利用可能なサンプルに属する隣接サンプル値を使用して予測子ブロックを形成することができる。隣接サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内でコーディングされ得るか、又はそれ自体が予測され得る。
【0011】
図1Aを参照すると、右下に描かれているのは、H．265で定義された（35個のイントラモードのうちの33個の角度モードに対応する）33個の可能な予測子方向から知られる9つの予測子方向のサブセットである。矢印が集中する点（101）は、予測されているサンプルを表す。矢印は、そこからサンプルが予測されている方向を表す。例えば、矢印（102）は、サンプル（101）が水平から45度の角度で右上にある1つ又は複数のサンプルから予測されることを示す。同様に、矢印（103）は、サンプル（101）が水平から22．5度の角度でサンプル（101）の左下にある1つ又は複数のサンプルから予測されることを示す。
【0012】
さらに図1Aを参照すると、左上には、（太い破線によって示された）4×4サンプルの正方形ブロック（104）が図示されている。正方形ブロック（104）は16個のサンプルを含み、各々、「S」、Y次元のその位置（例えば、行インデックス）、及びX次元のその位置（例えば、列インデックス）でラベル付けされている。例えば、サンプルS21は、Y次元の（上から）2番目のサンプルであり、X次元の（左から）1番目のサンプルである。同様に、サンプルS44は、ブロック（104）内のY次元とX次元の両方の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。さらに、同様の番号付けスキームに従う参照サンプルが示されている。参照サンプルは、R、ブロック（104）に対するそのY位置（例えば、行インデックス）、及びX位置（列インデックス）でラベル付けされている。H．264とH．265の両方において、予測サンプルは再構成中のブロックに隣接しており、したがって、負の値が使用される必要はない。
【0013】
イントラピクチャ予測は、シグナリングされた予測方向によって示される隣接サンプルから参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印（102）と一致する予測方向を示すシグナリングを含む、すなわち、サンプルはサンプルから右上へ、水平から45度の角度で予測されると仮定する。その場合、サンプルS41、S32、S23、S14が、同じ参照サンプルR05から予測される。次いで、サンプルS44が参照サンプルR08から予測される。
【0014】
特定の場合には、参照サンプルを計算するために、特に方向が45度によって均等に割り切れない場合、複数の参照サンプルの値は、例えば補間によって組み合わされ得る。
【0015】
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加している。H．264（2003年）では、9つの異なる方向を表すことができた。これが、H．265（2013年）では33に増加した。現在、JEM／VVC／BMSは、最大65個の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われており、エントロピーコーディングの特定の技術は、それらの可能性が高い方向を少数のビットで表すために使用され、可能性が低い方向に関しては一定のペナルティを受け入れる。さらに、方向自体は、隣接する既に復号されたブロックにおいて使用された隣接方向から予測され得る場合もある。
【0016】
図1Bは、経時的に増加する数の予測方向を示すために、JEMによる65個のイントラ予測方向を図示する概略図（110）を示す。
【0017】
コーディングされたビデオビットストリーム内の方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術によって異なり得る。そのようなマッピングは、単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、及び同様の技術まで及び得る。しかしながら、ほとんどの場合、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在することができる。ビデオ圧縮の目的は冗長性の低減であるので、それらの可能性が低い方向は、うまく機能するビデオコーディング技術では、可能性が高い方向よりも多いビット数で表される。
【0018】
画像及び／又はビデオのコーディング及び復号は、動き補償を伴うインターピクチャ予測を使用して実施することができる。動き補償は、非可逆圧縮技術であり得、以前に再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以降、MV）によって示された方向に空間的にシフトされた後に、新しく再構成されるピクチャ又はピクチャの一部の予測に使用される技術に関連し得る。場合によっては、参照ピクチャは、現在再構成中のピクチャと同じであり得る。MVは、2つの次元X及びY、又は3つの次元を有することができ、第3の次元は、使用中の参照ピクチャの表示である（後者は、間接的に、時間次元となり得る）。
【0019】
いくつかのビデオ圧縮技術では、サンプルデータの特定のエリアに適用可能なMVは、他のMVから、例えば再構成中のエリアに空間的に隣接し、復号順でそのMVに先行するサンプルデータの別のエリアに関連するMVから予測され得る。そうすることにより、MVのコーディングに必要なデータ量を大幅に削減することができ、それによって冗長性が排除され、圧縮率が増加する。例えば、（ナチュラルビデオとして知られている）カメラから導出された入力ビデオ信号をコーディングするとき、単一のMVが適用可能なエリアよりも大きいエリアが同様の方向に移動する統計的な可能性が存在するので、MV予測は効果的に機能することができ、したがって、場合によっては、隣接するエリアのMVから導出された同様の動きベクトルを使用して予測することができる。その結果、所与のエリアについて検出されたMVは、周囲のMVから予測されたMVと同様又は同じであり、エントロピーコーディング後、直接MVをコーディングする場合に使用されるビット数よりも少ないビット数で表すことができる。場合によっては、MV予測を、原信号（すなわち、サンプルストリーム）から導出された信号（すなわち、MV）の可逆圧縮の一例とすることができる。他の場合には、例えばいくつかの周囲のMVから予測子を計算するときの丸め誤差のために、MV予測自体は非可逆であり得る。
【0020】
様々なMV予測メカニズムが、H．265／HEVC（ITU－T Rec．H．265、「High Efficiency Video Coding」、2016年12月）に記載されている。H．265が提供する多くのMV予測メカニズムのうち、図2を参照して説明するのは、以降「空間マージ」と呼ぶ技術である。
【0021】
図2を参照すると、カレントブロック（201）は、動き検索プロセス中にエンコーダによって、空間的にシフトされた同じサイズの以前のブロックから予測可能であることが発見されているサンプルを含む。直接そのMVをコーディングする代わりに、MVは、A0、A1、及びB0、B1、B2（それぞれ、202～206）と表された5つの周囲のサンプルのいずれか1つに関連付けられたMVを使用して、1つ又は複数の参照ピクチャに関連付けられたメタデータから、例えば（復号順に）最新の参照ピクチャから導出することができる。H．265では、MV予測は、隣接ブロックが使用している同じ参照ピクチャからの予測子を使用することができる。
【発明の概要】
【課題を解決するための手段】
【0022】
本開示の態様は、ビデオ符号化／復号のための方法及び装置を提供する。いくつかの例では、ビデオ復号のための装置は処理回路を含む。
【0023】
本開示の一態様によれば、ビデオデコーダにおいて実施されるビデオ復号の方法が提供される。本方法では、ビデオのカレントピクチャ内のカレントブロックの符号化された情報を、符号化されたビデオビットストリームから受信することができる。符号化された情報は、カレントブロックが幾何学的パーティションモード（GPM）に基づいて少なくとも第1のパーティションと第2のパーティションとに分割されていることを示すことができる。第1のパーティションは、イントラブロックコピー（IBC）予測モードに関連付けることができ、第2のパーティションは、イントラ予測モードに関連付けることができる。カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報を記憶することができる。予測モード情報は、第1のサブブロックがIBC予測モード、イントラ予測モード、及びIBC予測モードとイントラ予測モードとの両方のうちの1つに関連付けられているかどうかに基づいて、DCモード、Planarモード、及びイントラ予測モードのうちの1つを含むことができる。
【0024】
本方法では、記憶された予測モード情報を使用して、カレントブロックの隣接ブロックに対する最確モード（MPM）導出を実施することができる。
【0025】
いくつかの実施形態では、第1のサブブロックがIBC予測モードに関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にPlanarモードのみを記憶することを含むことができる。
【0026】
いくつかの実施形態では、第1のサブブロックがイントラ予測モードに関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にイントラ予測モードのみを記憶することを含むことができる。
【0027】
いくつかの実施形態では、第1のサブブロックがIBC予測モードとイントラ予測モードとの両方に関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にイントラ予測モードのみを記憶することを含むことができる。
【0028】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、DCモードを記憶することができる。
【0029】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、Planarモードを記憶することができる。
【0030】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、イントラ予測モードを記憶することができる。
【0031】
いくつかの実施形態では、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報は、カレントブロックの隣接ブロックのMPM導出のための伝搬イントラモードであり得、隣接ブロックはIBC予測モードによって予測される。
【0032】
いくつかの実施形態では、カレントブロックの複数のサブブロックの各々は、それぞれ4×4画素のユニットとすることができる。
【0033】
本開示の別の態様によれば、装置が提供される。装置は処理回路を含む。処理回路は、ビデオ符号化／復号のための方法のいずれかを実施するように構成することができる。
【0034】
本開示の態様では、ビデオ復号のためにコンピュータによって実行されると、ビデオの符号化／復号のための方法のいずれかをコンピュータに実施させる命令を記憶する非一時的コンピュータ可読媒体も提供する。
【0035】
開示の主題のさらなる特徴、性質、及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになるであろう。
【図面の簡単な説明】
【0036】
【図1A】イントラ予測モードの例示的なサブセットの概略図である。
【図1B】例示的なイントラ予測方向の図である。
【図2】一例におけるカレントブロック及びその周囲の空間マージ候補の概略図である。
【図3】一実施形態による通信システム（300）の簡略化されたブロック図の概略図である。
【図4】一実施形態による通信システム（400）の簡略化されたブロック図の概略図である。
【図5】一実施形態によるデコーダの簡略化されたブロック図の概略図である。
【図6】一実施形態によるエンコーダの簡略化されたブロック図の概略図である。
【図7】別の実施形態によるエンコーダを示すブロック図である。
【図8】別の実施形態によるデコーダを示すブロック図である。
【図9】別の実施形態による空間マージ候補の例示的な位置を示す図である。
【図10】空間マージ候補の例示的な冗長検査を示す図である。
【図11】一実施形態による時間マージ候補の動きベクトルのスケーリングの概略図を示す図である。
【図12】一実施形態による時間マージ候補の例示的な候補位置を示す図である。
【図13】一実施形態による幾何学的パーティションモード（GPM）の例示的な角度分布を示す図である。
【図14】一実施形態によるGPMの例示的なパーティションラインを示す図である。
【図15】本開示のいくつかの実施形態による例示的な復号プロセスの概要を示すフローチャートを示す図である。
【図16】本開示のいくつかの実施形態による例示的な符号化プロセスの概要を示すフローチャートを示す図である。
【図17】一実施形態による、コンピュータシステムの概略図である。
【発明を実施するための形態】
【0037】
図3は、通信システム（300）の例示的なブロック図を示している。通信システム（300）は、例えばネットワーク（350）を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム（300）は、ネットワーク（350）を介して相互接続された端末デバイス（310）及び（320）の第1のペアを含む。図3の例では、端末デバイス（310）及び（320）の第1のペアは、データの単方向送信を実施する。例えば、端末デバイス（310）は、ネットワーク（350）を介して他の端末デバイス（320）に送信するためのビデオデータ（例えば、端末デバイス（310）によってキャプチャされたビデオピクチャのストリーム）をコーディングし得る。符号化されたビデオデータは、1つ又は複数のコーディングされたビデオビットストリームの形式で送信することができる。端末デバイス（320）は、ネットワーク（350）からコーディングされたビデオデータを受信し、コーディングされたビデオデータを復号してビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示することができる。単方向データ送信は、メディア提供用途などにおいて一般的であり得る。
【0038】
別の例では、通信システム（300）は、例えばビデオ会議中のコーディングされたビデオデータの双方向伝送を実施する端末デバイス（330）及び（340）の第2の対を含む。データの双方向伝送の場合、一例では、端末デバイス（330）及び（340）の各端末デバイスは、ネットワーク（350）を介して端末デバイス（330）及び（340）の他方の端末デバイスに送信するために、ビデオデータ（例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム）をコーディングすることができる。端末デバイス（330）及び（340）の各端末デバイスはまた、端末デバイス（330）及び（340）のうちの他の端末デバイスによって送信されたコーディングされたビデオデータを受信することができ、コーディングされたビデオデータを復号してビデオピクチャを復元することができ、復元されたビデオデータに従ってアクセス可能な表示デバイスにビデオピクチャを表示することができる。
【0039】
図3の例において、端末デバイス（310）、（320）、（330）及び（340）は、サーバ、パーソナルコンピュータ及びスマートフォンとしてそれぞれ例示されているが、本開示の原理はそのように限定されなくてもよい。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ及び／又は専用ビデオ会議機器とともに適用される。ネットワーク（350）は、例えば有線（配線）及び／又は無線通信ネットワークを含む、端末デバイス（310）、（320）、（330）及び（340）間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク（350）は、回路交換チャネル及び／又はパケット交換チャネルでデータを交換することができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットが含まれる。本説明の目的のために、ネットワーク（350）のアーキテクチャ及びトポロジーは、本明細書で以下に説明されない限り、本開示の動作にとって重要でない可能性がある。
【0040】
図4は、開示の主題についての用途の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダを示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ、ストリーミングサービス、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの記憶などを含む他のビデオ対応用途に等しく適用可能であり得る。
【0041】
ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム（402）を作成するビデオソース（401）、例えば、デジタルカメラを含むことができるキャプチャサブシステム（413）を含み得る。一例では、ビデオピクチャのストリーム（402）は、デジタルカメラによって撮影されたサンプルを含む。符号化されたビデオデータ（404）（又はコーディングされたビデオビットストリーム）と比較したときに多いデータ量を強調するために太い線として図示されたビデオピクチャのストリーム（402）は、ビデオソース（401）に結合されたビデオエンコーダ（403）を含む電子デバイス（420）によって処理することができる。ビデオエンコーダ（403）は、以下でより詳細に説明されるように、開示された主題の態様を可能にするか、又は実装するハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。ビデオピクチャのストリーム（402）と比較したときに少ないデータ量を強調するために細い線として図示された符号化されたビデオデータ（404）（又は符号化されたビデオビットストリーム）は、将来の使用のためにストリーミングサーバ（405）に記憶することができる。図4のクライアントサブシステム（406）及び（408）などの1つ又は複数のストリーミングクライアントサブシステムは、ストリーミングサーバ（405）にアクセスし、符号化されたビデオデータ（404）のコピー（407）及び（409）を取り出すことができる。クライアントサブシステム（406）は、例えば、電子デバイス（430）内のビデオデコーダ（410）を含むことができる。ビデオデコーダ（410）は、符号化されたビデオデータの入力コピー（407）を復号し、ディスプレイ（412）（例えば、表示画面）又は他のレンダリングデバイス（図示せず）上にレンダリングされ得るビデオピクチャの出力ストリーム（411）を作成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ（404）、（407）、及び（409）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従って符号化することができる。それらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオコーディング規格は、多用途ビデオコーディング（VVC）として非公式に知られている。開示の主題は、VVCのコンテキストで使用され得る。
【0042】
電子デバイス（420）及び（430）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（420）はビデオデコーダ（図示せず）を含むことができ、電子デバイス（430）もビデオエンコーダ（図示せず）を含むことができる。
【0043】
図5は、ビデオデコーダ（510）の例示的なブロック図を示している。ビデオデコーダ（510）は、電子デバイス（530）に含めることができる。電子デバイス（530）は、受信機（531）（例えば、受信回路）を含むことができる。ビデオデコーダ（510）は、図4の例のビデオデコーダ（410）の代わりに使用することができる。
【0044】
受信機（531）は、ビデオデコーダ（510）によって復号されるべき1つ又は複数のコーディングされたビデオシーケンスを受信することができる。一実施形態では、一度に1つのコーディングされたビデオシーケンスが受信され、各コーディングされたビデオシーケンスの復号は、他のコーディングされたビデオシーケンスの復号から独立している。コーディングされたビデオシーケンスはチャネル（501）から受信され得、チャネル（501）は、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る。受信機（531）は、それらのそれぞれの使用エンティティ（図示せず）に転送され得る他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助データストリームとともに符号化されたビデオデータを受信することができる。受信機（531）は、コーディングされたビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、受信機（531）とエントロピーデコーダ／パーサ（520）（以降、「パーサ（520）」）との間にバッファメモリ（515）が結合され得る。特定の用途では、バッファメモリ（515）は、ビデオデコーダ（510）の一部である。他の用途では、バッファメモリ（515）はビデオデコーダ（510）の外部にあり得る（図示せず）。さらに他の用途では、例えばネットワークジッタに対抗するために、ビデオデコーダ（510）の外部にバッファメモリ（図示せず）が存在し、加えて、例えばプレイアウトタイミングを処理するために、ビデオデコーダ（510）の内部に別のバッファメモリ（515）が存在し得る。受信機（531）が十分な帯域幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ（515）は不要な場合があり、又は小さくすることができる。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ（515）は、必要とされる場合があり、比較的大きい可能性があり、有利なことに適応サイズであり得、オペレーティングシステム又はビデオデコーダ（510）の外側の同様の要素（描写せず）に少なくとも部分的に実装され得る。
【0045】
ビデオデコーダ（510）は、コーディングされたビデオシーケンスからシンボル（521）を再構成するためにパーサ（520）を含むことができる。これらのシンボルのカテゴリは、ビデオデコーダ（510）の動作を管理するために使用される情報、及び潜在的に、図5に示されるように、電子デバイス（530）の不可欠な部分ではないが、電子デバイス（530）に結合されることが可能であるレンダリングデバイス（512）（例えば、表示画面）などのレンダリングデバイスを制御するための情報を含む。レンダリングデバイスのための制御情報は補足エンハンスメント情報（SEI）メッセージ又はビデオユーザビリティ情報（VUI）のパラメータセットフラグメント（図示せず）の形式であり得る。パーサ（520）は、受信されたコーディングされたビデオシーケンスをパース／エントロピーデコーディングすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に準拠し得ると共に、コンテキスト依存性あり又はなしの可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従い得る。パーサ（520）は、グループに対応する少なくとも1つのパラメータに基づいて、コーディングされたビデオシーケンスから、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出することができる。サブグループは、ピクチャグループ（GOP）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。パーサ（520）はまた、コーディングされたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出することができる。
【0046】
パーサ（520）は、シンボル（521）を作成するために、バッファメモリ（515）から受け取ったビデオシーケンスに対してエントロピーデコーディング／構文解析動作を実施することができる。
【0047】
シンボル（521）の再構成は、コーディングされたビデオピクチャ又はその部分のタイプ（インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）、並びに他の要因に応じて、複数の異なるユニットを関与させることができる。どのユニットがどのように関与するかは、パーサ（520）によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御することができる。パーサ（520）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために図示されていない。
【0048】
既に述べられた機能ブロック以外に、ビデオデコーダ（510）は、以下に記載されるように、概念的にいくつかの機能ユニットに細分化することができる。商業的な制約の下で動作する実際の実装形態では、これらのユニットの多くは互いに密接に相互作用し、互いに、少なくとも部分的に統合することができる。しかしながら、開示された主題を説明する目的のために、以下の機能ユニットへの概念的細分が適切である。
【0049】
第1のユニットはスケーラ／逆変換ユニット（551）である。スケーラ／逆変換ユニット（551）は、量子化変換係数、並びに、どの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（520）からシンボル（521）として受信する。スケーラ／逆変換ユニット（551）は、アグリゲータ（555）に入力することができるサンプル値を含むブロックを出力することができる。
【0050】
場合によっては、スケーラ／逆変換ユニット（551）の出力サンプルは、イントラコーディングされたブロックに関係し得る。イントラコーディングされたブロックは、以前に再構成されたピクチャからの予測情報を使用しておらず、カレントピクチャの以前に再構成された部分からの予測情報を使用することができるブロックである。そのような予測情報は、イントラピクチャ予測ユニット（552）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（552）は、カレントピクチャバッファ（558）からフェッチされた周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズ及び形状のブロックを生成する。カレントピクチャバッファ（558）は、例えば、部分的に再構成されたカレントピクチャ及び／又は完全に再構成されたカレントピクチャをバッファリングする。アグリゲータ（555）は、場合によっては、サンプルごとに、イントラ予測ユニット（552）が生成した予測情報を、スケーラ／逆変換ユニット（551）によって提供される出力サンプル情報に追加する。
【0051】
他の場合には、スケーラ／逆変換ユニット（551）の出力サンプルは、インターコーディングされ、潜在的に動き補償されたブロックに関係し得る。そのような場合、動き補償予測ユニット（553）は、参照ピクチャメモリ（557）にアクセスして、予測に使用されるサンプルをフェッチすることができる。ブロックに関係するシンボル（521）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（555）によってスケーラ／逆変換ユニット（551）の出力に追加することができる（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（553）が予測サンプルをフェッチする参照ピクチャメモリ（557）内のアドレスは、例えば、X、Y、及び参照ピクチャ成分を有することができるシンボル（521）の形式で動き補償予測ユニット（553）に利用可能な動きベクトルによって制御することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（557）からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどを含むことができる。
【0052】
アグリゲータ（555）の出力サンプルは、ループフィルタユニット（556）において様々なループフィルタリング技法を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（520）からのシンボル（521）としてループフィルタユニット（556）に提供されるインループフィルタ技術を含むことができる。ビデオ圧縮はまた、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号順で）前の部分の復号中に取得されたメタ情報に応答して行うこともでき、以前に再構成及びループフィルタリングされたサンプル値に応答して行うこともできる。
【0053】
ループフィルタユニット（556）の出力は、レンダリングデバイス（512）に出力されるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（557）に記憶することができるサンプルストリームであり得る。
【0054】
一旦完全に再構成されると、特定のコーディングされたピクチャは、将来の予測のための参照ピクチャとして使用することができる。例えば、カレントピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが参照ピクチャとして（例えば、パーサ（520）によって）識別されると、カレントピクチャバッファ（558）は、参照ピクチャメモリ（557）の一部になることができ、未使用のカレントピクチャバッファは、次のコーディングされたピクチャの再構成を開始する前に再割当てすることができる。
【0055】
ビデオデコーダ（510）は、ITU－T Rec．H．265などの所定のビデオ圧縮技術又は規格に従って復号動作を実施することができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスが、ビデオ圧縮技術又は規格の構文とビデオ圧縮技術又は規格に文書化されているプロファイルの両方を順守しているという意味で、使用されているビデオ圧縮技術又は規格によって指定されている構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術又は規格で利用可能なすべてのツールから、そのプロファイル下で使用するために利用可能な唯一のツールとしていくつかのツールを選択することができる。また、準拠するために必要なことは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）仕様及びコーディングされたビデオシーケンスでシグナリングされたHRDバッファ管理のためのメタデータによってさらに制限され得る。
【0056】
一実施形態では、受信機（531）は、符号化されたビデオとともに追加の（冗長な）データを受信することができる。追加のデータは、コーディングされたビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切に復号するために、かつ／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（510）によって使用され得る。追加のデータは、例えば、時間、空間、又は信号雑音比（SNR）強化レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式であり得る。
【0057】
図6は、ビデオエンコーダ（603）の例示的なブロック図を示している。ビデオエンコーダ（603）は電子デバイス（620）に含まれる。電子デバイス（620）は、送信機（640）（例えば、送信回路）を含む。ビデオエンコーダ（603）は、図4の例のビデオエンコーダ（403）の代わりに使用することができる。
【0058】
ビデオエンコーダ（603）は、ビデオエンコーダ（603）によってコーディングされるビデオ画像を取り込むことができる（図6の例では電子デバイス（620）の一部ではない）ビデオソース（601）からビデオサンプルを受信することができる。別の例では、ビデオソース（601）は電子デバイス（620）の一部である。
【0059】
ビデオソース（601）は、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）及び任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であり得るデジタルビデオサンプルストリームの形式で、ビデオエンコーダ（603）によってコーディングされるソースビデオシーケンスを提供することができる。メディアサービングシステムでは、ビデオソース（601）は、以前に準備されたビデオを記憶する記憶装置であり得る。ビデオ会議システムでは、ビデオソース（601）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個々のピクチャとして提供され得る。ピクチャ自体は、ピクセルの空間配列として編成することができ、各ピクセルは、使用中のサンプリング構造、色空間などに応じて、1つ又は複数のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てる。
【0060】
一実施形態によれば、ビデオエンコーダ（603）は、リアルタイムで、又は必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（643）にコーディングし、圧縮し得る。適切なコーディング速度を実施することが、コントローラ（650）の1つの機能である。いくつかの実施形態では、コントローラ（650）は、以下で説明される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。明確にするために、結合は図示されていない。コントローラ（650）によって設定されるパラメータには、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技法のラムダ値など）、ピクチャサイズ、ピクチャグループ（GOP）レイアウト、最大動きベクトル検索範囲などが含まれ得る。コントローラ（650）は、特定のシステム設計のために最適化されたビデオエンコーダ（603）に関連する他の適切な機能を有するように構成することができる。
【0061】
いくつかの実施形態では、ビデオエンコーダ（603）は、コーディングループで動作するように構成される。単純化し過ぎた説明として、一例では、コーディングループは、（例えば、コーディングされるべき入力ピクチャ、及び参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）ソースコーダ（630）、並びにビデオエンコーダ（603）に組み込まれた（ローカル）デコーダ（633）を含むことができる。デコーダ（633）は、（リモート）デコーダも作成することになるのと同様の方式でシンボルを再構成してサンプルデータを作成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（634）に入力される。シンボルストリームの復号は、デコーダの場所（ローカル又はリモート）に関係なくビット正確な結果につながるので、参照ピクチャメモリ（634）内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えれば、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（及び、例えば、チャネルエラーのために同期性が維持できない場合に結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用される。
【0062】
「ローカル」デコーダ（633）の動作は、図5とともに上記で詳細に既に記載されている、ビデオデコーダ（510）などの「リモート」デコーダの動作と同じであり得る。しかしながら、また図5を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（645）及びパーサ（520）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号は可逆であり得るので、バッファメモリ（515）を含むビデオデコーダ（510）のエントロピーデコーディング部分、及びパーサ（520）は、ローカルデコーダ（633）に完全に実装されていない可能性がある。
【0063】
一実施形態では、デコーダ内に存在する構文解析／エントロピーデコーディングを除くデコーダ技術は、対応するエンコーダ内に同一又は実質的に同一の機能形態で存在する。したがって、開示された主題は、デコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略することができる。特定の領域において、より詳細な説明が以下に提供される。
【0064】
動作中、いくつかの例では、ソースコーダ（630）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つ又は複数の以前にコーディングされたピクチャを参照して入力ピクチャを予測的にコーディングする、動き補償予測コーディングを実施することができる。このようにして、コーディングエンジン（632）は、入力ピクチャのピクセルブロックと、入力ピクチャへの予測参照として選択され得る参照ピクチャのピクセルブロックとの間の差をコーディングする。
【0065】
ローカルビデオデコーダ（633）は、ソースコーダ（630）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号することができる。コーディングエンジン（632）の動作は、有利なことに、非可逆プロセスであり得る。コーディングされたビデオデータが（図6には示されていない）ビデオデコーダで復号され得るとき、再構成されたビデオシーケンスは、典型的には、いくつかの誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（633）は、参照ピクチャに対してビデオデコーダによって実施され得る復号プロセスを複製し、再構成された参照ピクチャが参照ピクチャメモリ（634）に記憶されるようにすることができる。このようにして、ビデオエンコーダ（603）は、（送信エラーがない）遠端ビデオデコーダによって取得される再構成された参照ピクチャとして共通のコンテンツを有する、再構成された参照ピクチャのコピーをローカルに記憶することができる。
【0066】
予測器（635）は、コーディングエンジン（632）のための予測検索を実施することができる。すなわち、コード化される新しいピクチャの場合、予測器（635）は、新しいピクチャのための適切な予測参照として役立つことができる、（候補参照画素ブロックとしての）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状などの特定のメタデータを求めて、参照ピクチャメモリ（634）を検索することができる。予測器（635）は、適切な予測参照を見つけるために、ピクセルブロックごとにサンプルブロックに対して動作することができる。場合によっては、予測器（635）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（634）に記憶された複数の参照ピクチャから引き出された予測参照を有することができる。
【0067】
コントローラ（650）は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（630）のコーディング動作を管理することができる。
【0068】
すべての前述の機能ユニットの出力は、エントロピーコーダ（645）内でエントロピーコーディングを受けることができる。エントロピーコーダ（645）は、様々な機能ユニットによって生成されたシンボルを、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ってシンボルに可逆圧縮を適用することによってコーディングされたビデオシーケンスに変換する。
【0069】
送信機（640）は、エントロピーコーダ（645）によって作成されたコーディングされたビデオシーケンスをバッファリングして、通信チャネル（660）を介した送信の準備をすることができ、通信チャネル（660）は、符号化されたビデオデータを記憶する記憶装置へのハードウェア／ソフトウェアリンクであり得る。送信機（640）は、ビデオエンコーダ（603）からのコーディングされたビデオデータを、送信される他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助データストリーム（ソースは図示されていない）とマージすることができる。
【0070】
コントローラ（650）は、ビデオエンコーダ（603）の動作を管理することができる。コーディング中、コントローラ（650）は、各コーディングされたピクチャに特定のコーディングされたピクチャタイプを割り当てることができ、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは、以下のピクチャタイプのうちの1つとして割り当てられることが多い。
【0071】
イントラピクチャ（Iピクチャ）は、シーケンス内の任意の他のピクチャを予測ソースとして使用せずに、コーディング及び復号され得るものであり得る。いくつかのビデオコーデックは、例えば独立したデコーダリフレッシュ（「IDR」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者は、Iピクチャのそれらの変形形態、並びにそれらのそれぞれの用途及び特徴を認識している。
【0072】
予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために、多くとも1つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を使用して、コーディングされた及び復号され得るピクチャであり得る。
【0073】
双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、多くとも2つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を使用して、コーディングされた及び復号され得るピクチャであり得る。同様に、複数予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャ及び関連するメタデータを使用することができる。
【0074】
ソースピクチャは一般に、複数のサンプルブロック（例えば、各々4×4、8×8、4×8、又は16×16のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定されるように、他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Iピクチャのブロックは、非予測的にコーディングされ得、又はそれらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測若しくはイントラ予測）。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、又は時間予測を介して予測的にコーディングされ得る。Bピクチャのブロックは、1つ又は2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、又は時間予測を介して、予測的にコーディングされ得る。
【0075】
ビデオエンコーダ（603）は、ITU－T Rec．H．265などの所定のビデオコーディング技術又は規格に従ってコーディング動作を実施することができる。その動作において、ビデオエンコーダ（603）は、入力ビデオシーケンスにおける時間及び空間の冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を実施することができる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって指定された構文に準拠し得る。
【0076】
一実施形態では、送信機（640）は、符号化されたビデオとともに追加のデータを送信することができる。ソースコーダ（630）は、コーディングされたビデオシーケンスの一部としてそのようなデータを含み得る。追加のデータは、時間／空間／SNR強化レイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含み得る。
【0077】
ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列でキャプチャされ得る。（イントラ予測と省略されることが多い）イントラピクチャ予測は、所与のピクチャ内の空間の相関関係を利用し、インターピクチャ予測は、ピクチャ間の（時間又は他の）相関関係を利用する。一例では、カレントピクチャと呼ばれる、符号化／復号化中の特定のピクチャがブロックに分割される。カレントピクチャ内のブロックが、ビデオ内の以前にコーディングされた、まだバッファリングされている参照ピクチャ内の参照ブロックと同様であるとき、カレントピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることが可能である。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。
【0078】
いくつかの実施形態では、インターピクチャ予測において、双予測技術を使用し得る。双予測技術によれば、両方ともビデオ内のカレントピクチャよりも復号順序で前にある（が、それぞれ、表示順序で過去及び将来であり得る）第1の参照ピクチャ及び第2の参照ピクチャなどの2つの参照ピクチャが使用される。カレントピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1の動きベクトル、及び第2の参照ピクチャ内の第2の参照ブロックを指す第2の動きベクトルによってコーディングされることが可能である。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測され得る。
【0079】
さらに、インターピクチャ予測において、コーディング効率を改善するために、マージモード技術を使用し得る。
【0080】
本開示のいくつかの実施形態によれば、インターピクチャ予測やイントラピクチャ予測などの予測は、ブロック単位で実施される。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、16×16ピクセルなどの同じサイズを有する。一般に、CTUは3つのコーディングツリーブロック（CTB）を含み、それらは1つの輝度CTB及び2つの彩度CTBである。各CTUは、1つ又は複数のコーディングユニット（CU）に再帰的に四分木分割することができる。例えば、64×64ピクセルのCTUは、1つの64×64ピクセルのCU、又は4つの32×32ピクセルのCU、又は16個の16×16ピクセルのCUに分割することができる。一例では、インター予測タイプ又はイントラ予測タイプなどのCUの予測タイプを決定するために、各CUが分析される。CUは、時間及び／又は空間の予測可能性に応じて、1つ又は複数の予測ユニット（PU）に分割される。一般に、各PUは、1つの輝度予測ブロック（PB）と、2つの彩度PBとを含む。一実施形態では、コーディング（符号化／復号化）における予測動作は、予測ブロック単位で実施される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどのピクセルの値（例えば、輝度値）の行列を含む。
【0081】
図7は、ビデオエンコーダ（703）の例示的な図を示している。ビデオエンコーダ（703）は、ビデオピクチャのシーケンス内のカレントビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受け取り、処理ブロックを、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャに符号化するように構成される。一例では、ビデオエンコーダ（703）は、図4の例のビデオエンコーダ（403）の代わりに使用される。
【0082】
HEVCの例では、ビデオエンコーダ（703）は、8×8サンプルの予測ブロックなどの処理ブロック用のサンプル値の行列を受信する。ビデオエンコーダ（703）は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモード、インターモード、又は双予測モードを使用して最良にコーディングされるかどうかを決定する。処理ブロックがイントラモードでコーディングされるとき、ビデオエンコーダ（703）は、イントラ予測技術を使用して処理ブロックをコーディングされたピクチャに符号化することができ、処理ブロックがインターモード又は双予測モードでコーディングされるとき、ビデオエンコーダ（703）は、それぞれ、インター予測技術又は双予測技術を使用して処理ブロックをコーディングされたピクチャに符号化することができる。特定のビデオコーディング技術では、マージモードは、予測子の外側のコーディングされた動きベクトル成分の利点がない、動きベクトルが1つ又は複数の動きベクトル予測子から導出されるインターピクチャ予測サブモードであり得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオエンコーダ（703）は、処理ブロックのモードを決定するためにモード決定モジュール（図示せず）などの他の構成要素を含む。
【0083】
図7の例では、ビデオエンコーダ（703）は、図7に示されるように互いに結合されたインターエンコーダ（730）、イントラエンコーダ（722）、残差計算器（723）、スイッチ（726）、残差エンコーダ（724）、汎用コントローラ（721）、及びエントロピーエンコーダ（725）を含む。
【0084】
インターエンコーダ（730）は、カレントブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の1つ又は複数の参照ブロック（例えば、前のピクチャ及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述）を生成し、任意の適切な技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。いくつかの例では、参照ピクチャは、符号化されたビデオ情報に基づいて復号された、復号された参照ピクチャである。
【0085】
イントラエンコーダ（722）は、カレントブロック（例えば、処理ブロック）のサンプルを受け取り、場合によっては、ブロックを同じピクチャ内の既にコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によっては、イントラ予測情報（例えば、1つ又は複数のイントラエンコーディング技術によるイントラ予測方向情報）も生成するように構成される。一例では、イントラエンコーダ（722）はまた、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。
【0086】
汎用コントローラ（721）は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ（703）の他の構成要素を制御するように構成される。一例では、汎用コントローラ（721）は、ブロックのモードを決定し、モードに基づいて制御信号をスイッチ（726）に提供する。例えば、モードがイントラモードであるとき、汎用コントローラ（721）は、スイッチ（726）を制御して残差計算器（723）が使用するためのイントラモード結果を選択し、エントロピーエンコーダ（725）を制御してイントラ予測情報を選択し、ビットストリームにイントラ予測情報を含め、モードがインターモードであるとき、汎用コントローラ（721）は、スイッチ（726）を制御して残差計算器（723）が使用するためのインター予測結果を選択し、エントロピーエンコーダ（725）を制御してインター予測情報を選択し、ビットストリームにインター予測情報を含める。
【0087】
残差計算器（723）は、受信ブロックと、イントラエンコーダ（722）又はインターエンコーダ（730）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（724）は、残差データを符号化して変換係数を生成するために、残差データに基づいて動作するように構成される。一例では、残差エンコーダ（724）は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ（703）はまた、残差デコーダ（728）を含む。残差デコーダ（728）は、逆変換を実施し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（722）及びインターエンコーダ（730）によって適切に使用することができる。例えば、インターエンコーダ（730）は、復号された残差データ及びインター予測情報に基づいて復号されたブロックを生成することができ、イントラエンコーダ（722）は、復号された残差データ及びイントラ予測情報に基づいて復号されたブロックを生成することができる。いくつかの例では、復号されたブロックは、復号されたピクチャを生成するために適切に処理され、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ、参照ピクチャとして使用され得る。
【0088】
エントロピーエンコーダ（725）は、符号化されたブロックを含めるようビットストリームをフォーマットするように構成される。エントロピーエンコーダ（725）は、HEVC規格などの適切な規格に従ってビットストリームに様々な情報を含めるように構成される。一例では、エントロピーエンコーダ（725）は、ビットストリームに、汎用制御データ、選択された予測情報（例えば、イントラ予測情報やインター予測情報）、残差情報、及び他の適切な情報を含めるように構成される。開示された主題によれば、インターモード又は双予測モードのいずれかのマージサブモードでブロックをコーディングする場合、残差情報は存在しないことに留意されたい。
【0089】
図8は、ビデオデコーダ（810）の例示的な図を示している。ビデオデコーダ（810）は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受け取り、コーディングされたピクチャを復号して再構成されたピクチャを生成するように構成される。一例では、ビデオデコーダ（810）は、図4の例のビデオデコーダ（410）の代わりに使用される。
【0090】
図8の例では、ビデオデコーダ（810）は、図8に示されたように一緒に結合されたエントロピーデコーダ（871）、インターデコーダ（880）、残差デコーダ（873）、再構成モジュール（874）及びイントラデコーダ（872）を含む。
【0091】
エントロピーデコーダ（871）は、コーディングされたピクチャから、コーディングされたピクチャが構成される構文要素を表す特定のシンボルを再構成するように構成することができる。そのようなシンボルは、例えば、ブロックがコーディングされているモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモードのインターモード及び双予測モードなど）、並びにイントラデコーダ（872）又はインターデコーダ（880）によって、それぞれ、予測のために使用される特定のサンプル又はメタデータを識別することができる予測情報（例えば、イントラ予測やインター予測情報など）を含むことができる。シンボルはまた、例えば、量子化変換係数の形態の残差情報なども含むことができる。一例では、予測モードがインターモード又は双予測モードである場合、インター予測情報がインターデコーダ（880）に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ（872）に提供される。残差情報は逆量子化を受けることができ、残差デコーダ（873）に提供される。
【0092】
インターデコーダ（880）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
【0093】
イントラデコーダ（872）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
【0094】
残差デコーダ（873）は、逆量子化を実施して逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差情報を周波数領域から空間領域に変換するように構成される。残差デコーダ（873）はまた、（量子化器パラメータ（QP）を含めるために）特定の制御情報を必要とする場合があり、その情報は、エントロピーデコーダ（871）によって提供される場合がある（これは、少量の制御情報のみである可能性があるので、データパスは図示されていない）。
【0095】
再構成モジュール（874）は、空間領域において、残差デコーダ（873）によって出力される残差情報と（場合によってインター予測モジュール又はイントラ予測モジュールによって出力される）予測結果とを組み合わせて、再構成されたピクチャの一部になり得る再構成ブロックを形成するように構成され、再構成されたピクチャは再構成されたビデオの一部になり得る。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作を実施することができることに留意されたい。
【0096】
ビデオエンコーダ（403）、（603）及び（703）、並びにビデオデコーダ（410）、（510）及び（810）は、任意の適切な技術を使用して実装することができることに留意されたい。一実施形態では、ビデオエンコーダ（403）、（603）、及び（703）、並びにビデオデコーダ（410）、（510）、及び（810）は、1つ又は複数の集積回路を使用して実装することができる。別の実施形態では、ビデオエンコーダ（403）、（603）及び（603）、並びにビデオデコーダ（410）、（510）及び（810）は、ソフトウェア命令を実行する1つ又は複数のプロセッサを使用して実装することができる。
【0097】
本開示は、IBCのBV情報のシグナリング、処理、及び記憶、並びにIBCを用いたGPMのBVマージ候補リストの処理などの、イントラブロックコピー（IBC）を用いた幾何学的パーティションモード（GPM）に関する実施形態を含む。
【0098】
ITU－T VCEG（Q6／16）及びISO／IEC MPEG（JTC 1／SC 29／WG 11）は、2013（バージョン1）2014（バージョン2）2015（バージョン3）及び2016（バージョン4）において、H．265／HEVC（High Efficiency Video Coding）標準規格を公開した。2015年に、両標準化団体は、HEVCを超える次のビデオコーディング標準規格を開発する可能性を探索するために、JVET（共同ビデオ研究チーム）を共同で結成した。2017年10月、両標準化団体はJoint Call for Proposals on Video Compression with Capability beyond HEVC（CfP）を発表した。2018年2月15日までに、標準ダイナミックレンジ（SDR）に対して22個のCfP応答、高ダイナミックレンジ（HDR）に対して12個のCfP応答、360ビデオカテゴリで12個のCfP応答がそれぞれ提出された。2018年4月、受け取られたすべてのCfP応答は、122 MPEG／10th JVET会議で評価された。この会議の結果、JVETはHEVCを超えた次世代ビデオ符号化の標準化プロセスを正式に開始し、新しい標準はVersatile Video Coding（VVC）と名付けられ、JVETはJoint Video Expert Teamと改名された。2020年に、ITU－T VCEG（Q 6／16）及びISO／IEC MPEG（JTC 1／SC 29／WG 11）は、VVCビデオコーディング規格（バージョン1）を公開した。
【0099】
インター予測では、インター予測されたコーディングユニット（CU）ごとに、例えばインター予測されたサンプル生成に使用されるVVCの特徴をコーディングするために動きパラメータが必要とされる。動きパラメータは、動きベクトル、参照ピクチャインデックス、参照ピクチャリスト使用インデックス、及び／又は追加情報を含むことができる。動きパラメータは、明示的又は暗黙的な方式でシグナリングすることができる。CUがスキップモードで符号化される場合、CUは1つのPUに関連付けることができ、有意残差係数、符号化された動きベクトルデルタ、及び／又は参照ピクチャインデックスは必要とされない場合がある。CUがマージモードで符号化される場合、CUの動きパラメータは、隣接するCUから取得することができる。隣接するCUは、空間候補及び時間候補、並びにVVCで導入されたような追加のスケジュール（又は追加の候補）を含むことができる。マージモードは、スキップモードに対してだけでなく、任意のインター予測されたCUに適用することができる。マージモードの代替は、動きパラメータの明示的な送信であり、動きベクトル、各参照ピクチャリストの対応する参照ピクチャインデックス、参照ピクチャリスト使用フラグ、及び／又は他の必要な情報は、CUごとに明示的にシグナリングすることができる。
【0100】
VVCでは、VVCテストモデル（VTM）参照ソフトウェアは、以下のうちの1つ又は複数を含むことができる、いくつかの新しい改良されたインター予測コーディングツールを含むことができる。
（1）拡張マージ予測
（2）マージ動きベクトル差（MMVD）
（3）対称MVDシグナリングを伴うAMVPモード
（4）アフィン動き補償予測
（5）サブブロックベースの時間動きベクトル予測（SbTMVP）
（6）適応動きベクトル分解能（AMVR）
（7）動き場記憶：1／16輝度サンプルMV記憶及び8×8動き場圧縮
（8）CUレベルの重みによる双予測（BCW）
（9）双方向オプティカルフロー（BDOF）
（10）デコーダ側動きベクトル改良（DMVR）
（11）インター予測とイントラ予測の組み合わせ（CIIP）
（12）幾何学的パーティションモード（GPM）
（1）拡張マージ予測
（2）マージ動きベクトル差（MMVD）
（3）対称MVDシグナリングを伴うAMVPモード
（4）アフィン動き補償予測
（5）サブブロックベースの時間動きベクトル予測（SbTMVP）
（6）適応動きベクトル分解能（AMVR）
（7）動き場記憶：1／16輝度サンプルMV記憶及び8×8動き場圧縮
（8）CUレベルの重みによる双予測（BCW）
（9）双方向オプティカルフロー（BDOF）
（10）デコーダ側動きベクトル改良（DMVR）
（11）インター予測とイントラ予測の組み合わせ（CIIP）
（12）幾何学的パーティションモード（GPM）
【0101】
マージ候補リストは、VTM 4のように5種類の候補を含めて構築することができる。マージ候補リストは、以下の順序で構築することができる。
1）空間的に隣接するCUからの空間MVP、
2）コロケートされたCUからの時間MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）ペアワイズ平均MVP、及び
5）ゼロMV。
1）空間的に隣接するCUからの空間MVP、
2）コロケートされたCUからの時間MVP、
3）FIFOテーブルからの履歴ベースのMVP、
4）ペアワイズ平均MVP、及び
5）ゼロMV。
【0102】
マージリストのサイズは、スライスヘッダでシグナリングすることができる。マージリストの最大許容サイズは、VTM 4のように6とすることができる。マージモードで符号化された各CUについて、例えば切り捨て単項2値化を使用して、最良のマージ候補のインデックスを符号化することができる。マージインデックスの第1のビンはコンテキストで符号化することができ、他のビンにはバイパス符号化を使用することができる。
【0103】
空間候補導出では、例えばVVCにおいて、空間マージ候補の導出は、HEVCにおける空間マージ候補の導出と同じ又は同様であり得る。マージ候補は、例えば図9に示す位置にある候補の中から最大数（例えば、4つのマージ候補）を選択することができる。図9に示すように、カレントブロック（901）は、それぞれ位置A0、A1、B0、B1、及びB2に位置する隣接ブロック（902）～（906）を含むことができる。空間マージ候補の導出順序は、B1、A1、B0、A0、B2とすることができる。位置B2は、位置A0、B0、B1、又はA1におけるいずれのCU（又はブロック）も利用可能ではない（例えば、CUは別のスライス又はタイルに属するため）か、又はイントラ符号化されている場合にのみ考慮され得る。位置A1の候補（又はブロック）が追加された後、残りの候補（又はブロック）の追加は冗長検査の対象となり得る。冗長検査は、符号化効率が改善されるように、同じ動き情報を有する候補がマージリストから除外されることを保証することができる。計算の複雑さを低減するために、冗長検査は、すべての可能な候補ペアを考慮しなくてもよい。代わりに、図10の矢印で連結された候補ペアのみが考慮され得る。例えば、A1とB1の候補ペア、A1とA0の候補ペアなど、5つの候補ペアに冗長検査を適用することができる。冗長検査に使用される対応する候補が同じ動き情報を含まない場合にのみ、候補をマージリストに追加することができる。例えば、対応する候補B1が同じ動き情報を含まない場合にのみ、候補B0をマージリストに追加することができる。
【0104】
時間候補導出では、1つの候補のみがマージリストに追加され得る。例えば、図11に示すように、カレントCU（1114）の時間マージ候補の導出では、コロケートされた参照ピクチャ（1112）に属するコロケートされたCU（1104）に基づいてスケーリングされた動きベクトルを導出することができる。コロケートされたCU（1104）の導出に使用される参照ピクチャリストは、スライスヘッダで明示的にシグナリングすることができる。時間マージ候補のスケーリングされた動きベクトルは、図11の点線（1102）で示すように取得することができ、これは、ピクチャオーダカウント（POC）距離tb及びtdを使用して、コロケートされたCU（1104）の動きベクトルからスケーリングされる。tbは、カレントピクチャの参照ピクチャ（例えば、Curr＿ref）（1106）とカレントピクチャ（例えば、Curr＿pic）（1108）とのPOC差分と定義することができる。tdは、コロケートされたピクチャの参照ピクチャ（例えば、Col＿ref）（1110）とコロケートされたピクチャ（例えば、Col＿pic）（1112）との間のPOC差分として定義することができる。時間マージ候補の参照ピクチャインデックスは0に等しく設定され得る。
【0105】
時間候補の位置は、図12に示すように、候補C0とC1との間で選択することができる。例えば、位置C0にあるCUが利用できないか、イントラ符号化されているか、又はCTUのカレント行の外側にある場合、位置C1を使用することができる。それ以外の場合、位置C0を時間マージ候補の導出に使用することができる。
【0106】
GPMは、インター予測に適用することができる。GPMは、特定のサイズのCU、例えば8×8のサイズ又は8×8より大きいサイズを有するCUにのみ適用され得る。GPMは、例えばCUレベルのフラグを使用してシグナリングされ、1つの種類のマージモードとして機能することができる。他のマージモードは、通常マージモード、MMVDモード、CIIPモード、及び／又はサブブロックマージモードを含むことができる。
【0107】
GPMが使用される場合、CUは、複数のパーティション方式のうちの1つを使用することによって、2つの幾何学的形状のパーティションに分割することができる。パーティション方式は、角度及び／又はエッジによって区別することができる。一実施形態では、64の異なるパーティション方式をGPMに適用することができる。64の異なるパーティション方式は、CUの中心に対して0～360°、及び最大4エッジで不均一に量子化される24個の角度によって区別することができる。図13は、GPMに適用される24の例示的な角度を示す。図14は、CU（1402）内のインデックスが3である角度に関連付けられた4つの例示的で可能なパーティションエッジを示し、パーティションエッジの各々は、それぞれの距離インデックスに関連付けられ得る。距離インデックスは、CU（1402）の中心に対する距離を示すことができる。GPMでは、CU内の各幾何学的パーティションは、それぞれの動きベクトルを使用して相互予測することができる。さらに、パーティションごとに単予測のみが許容され得る。例えば、各パーティションは、1つの動きベクトル及び1つの参照インデックスを有することができる。各パーティションに対して単予測の動きのみが許容されるという制約により、各CUに対して必要な動き補償予測が2つのみであることを保証することができ、このことは従来の双予測においても適用される。
【0108】
GPMがカレントCUに使用される場合、幾何学的パーティションインデックス及び2つのマージインデックス（パーティションごとに1つ）を示す信号をさらにシグナリングすることができる。最大GPM候補サイズは、例えばスライスレベルで明示的にシグナリングすることができる。最大GPM候補サイズは、GPMマージインデックスのシンタックス2値化を指定することができる。2つの幾何学的パーティションの各々が予測された後、適応重みによるブレンド処理を使用して、幾何学的パーティションエッジに沿ったサンプル値を調整することができる。したがって、ブレンド処理後にCU全体の予測信号を生成することができる。変換及び量子化プロセスを、他の予測モードにおいてCU全体にさらに適用することができる。さらに、GPMを使用して予測されたCUの動き場を記憶することができる。
【0109】
IBCの実装コストは、カレントピクチャの既に再構成されたエリア全体に対して高くなり得る。例えば、HEVCにおけるIBC概念の欠点は、復号されたピクチャバター（DPB）における追加メモリの要件である。したがって、IBCのハードウェア実装では、通常、外部メモリが使用される。追加の外部メモリへのアクセスは、メモリ帯域幅の増加を伴い得る。
【0110】
特定の実装形態では、実装コストを削減することが必要な場合がある。例えば、VVCは、オンチップメモリを使用することによってIBCを実現することができる固定メモリを使用して、メモリ帯域幅要件及びハードウェアの複雑さを大幅に低減することができる。さらに、IBCのブロックベクトル（BV）符号化では、インター予測にマージリストの概念を用いることができる。IBCリスト構築プロセスは、2つの空間的に隣接するBV及び5つの履歴ベースのBV（HBVP）を考慮することができ、第1のHBVPが候補リスト（又はIBCリスト）に追加される場合、第1のHBVPのみが空間候補（例えば、2つの空間候補のBV）と比較され得る。
【0111】
VVCなどにおける圧縮効率をさらに改良するために、デコーダ側における動きを改良するテンプレートマッチング（TM）を利用することができる。TMモードでは、動きは、左及び上の隣接する再構成されたサンプルからテンプレートを構築することによって改良され、カレントピクチャ内のテンプレートと参照フレームとの間の最も近い一致を決定することができる。
【0112】
TMは、GPMに適用することができる。CUがGPMで符号化されると、幾何学的パーティションの各動きを改良するためにTMが適用されるかを判定することができる。TMが選択されると、左及び上の隣接するサンプルを使用してテンプレートを構築することができ、そして、カレントテンプレートと参照フレーム内の同じテンプレートパターンを有する参照エリアとの間の最良一致を見つけることによって動きをさらに改良することができる。改良された動きは、幾何学的パーティションの動き補償を実施するために使用することができ、さらに動きフィールドに記憶することができる。
【0113】
GPMは、VVCを超える符号化性能を向上させるためにインター予測及びイントラ予測をサポートするために適用することができる。例えば、GPM適用CU内の各幾何学的パーティションのマージ候補リストからの動きベクトルに加えて、幾何学的パーティションラインに対する（又はそれに関する）事前定義されたイントラ予測モードを選択することができる。フラグに基づいて、幾何学的パーティションごとにイントラ予測モード又はインター予測モードを決定することができる。インター予測が選択される場合、マージ候補リストからMVによって単予測信号を生成することができる。そうではなく、イントラ予測モードが選択される場合、イントラ予測モードの指定されたインデックスから予測される隣接サンプルから単予測信号を生成することができる。起こり得るイントラ予測モードの変動は、幾何学的形状によって制限することができる。最後に、2つの単予測信号は、通常のGPMと同じ方法でブレンドすることができる。
【0114】
複雑さ及びシグナリングオーバーヘッドを低減するために、起こり得るイントラ予測モードの変動を研究（又は定義）することができる。例えば、2つの例示的な構成について、インター予測及びイントラ予測を用いたGPMに対する起こり得るイントラ予測モードの変動の影響を研究した。第1の構成では、幾何学的パーティションラインに対して（又はそれに関して）平行及び垂直なイントラ方向モードのみを試した。幾何学的パーティションラインに対する（又はそれに関する）平行及び垂直イントラ角度モードに加えて、Planarモードも第2の構成で試験した。2つ又は3つの可能なイントラ予測モードを、インター予測及びイントラ予測を用いたGPMにおける幾何学的パーティションについて試験した。
【0115】
テンプレートベースのイントラモード導出（TIMD）、例えばJVET－V0098では、MPM内の各イントラモードについて、カレントCUのテンプレート領域の予測サンプルと再構成サンプルとの間の絶対変換差の和（SATD）を計算することができ、SATDコストが最小のイントラモードをカレントCUに選択することができる。最小のSATDコストを有するただ1つのイントラモードを選択する代わりに、TIMDを用いて導出される最小のSATDコストを有する最初の2つのモードも、例えばJVET－W0123においてカレントCUに選択することができる。選択された2つのモードは重みを用いてさらにフュージョンさせることができ、重み付きイントラ予測は、カレントCUのイントラ予測として使用することができる。選択された2つのモードにおいて、SATDコストが最小となる選択されたイントラモードのコストが、他の選択されたイントラモードのコストの半分よりも大きければ、フュージョンを適用することができる。そうでなければ、SATDコストが最小となるイントラモードのみが選択され得る。フュージョンを適用する場合、2つのモードのSATDコストから重み値を導出することができる。
【0116】
本開示では、IBC及びイントラ予測モードを用いたGPMを提供して、それぞれIBC及びイントラ予測モードのために生成された2つの幾何学的パーティションを組み合わせることができる。
【0117】
符号化効率を改善するために、例えばJVET－W0123において、CUの隣接ブロックのMPM導出のための隣接イントラ情報として、インター予測を用いたCU内のイントラモード（例えば、MODE＿INTER予測モード）の使用を記憶及び伝搬することができる。しかしながら、IBCを用いたCU内のイントラモードの使用はまた、IBCブロックがIBCを用いたGPM及びイントラとして符号化されるとき、MPM導出のための隣接イントラ情報として記憶及び伝搬され得る。
【0118】
本開示では、IBCを用いたGPMのイントラ予測モード情報及びイントラ予測を記憶することができる。例えば、カレントブロックを第1のパーティションと第2のパーティションとに分割することができる。第1のパーティションはIBC符号化することができ、第2のパーティションはイントラ符号化することができる。第2のパーティションを予測するために適用されるイントラ予測モードなど、第2のパーティションのイントラ予測モード情報を記憶することができる。記憶されたイントラモード情報は、カレントの隣接ブロックの予測モードがIBCである場合に、隣接イントラモード情報としてさらに使用することができる。これにより、記憶されたイントラモード情報を、IBC符号化された隣接ブロックに対する伝搬イントラモードとして使用することができる。隣接ブロックがブロックの参照ブロックである場合、記憶されたイントラ予測モード情報から、そのブロックに対するイントラモードを導出することができる。記憶されたイントラ予測モード情報は、IBC及びイントラを用いてGPMとして符号化されたカレントブロックのMPM導出にも適用することができる。
【0119】
一実施形態では、IBC及びイントラを用いたGPMのためのイントラ予測モード情報は、カレントブロックのN×Nユニット（例えば、4×4サンプルユニット）で記憶することができる。例えば、カレントブロックは、複数のN×Nユニットに分割することができる。N×Nユニットのそれぞれについてのイントラ予測モード情報は、対応するメモリユニット（又はセル）に保存することができる。
【0120】
一実施形態では、CU（又はカレントブロック）内のイントラ予測を用いた幾何学的パーティションに使用されるPLANARモード又は選択されたイントラモードのいずれかは、各幾何学的パーティションについてカレントブロックのN×Nユニット（例えば、4×4ユニット）に記憶することができる。一例では、GPMに基づくカレントブロックの幾何学的パーティションがIBCを用いて生成される場合（又は幾何学的パーティションがIBCに基づいて予測される場合）、PLANARモードは、幾何学的パーティションの対応するN×Nユニット（例えば、4×4ユニット）に記憶することができる。これにより、IBCで生成された幾何学的パーティション内のN×Nユニットについて、幾何学的パーティション内に位置するN×Nユニットのそれぞれについて、PLANARモードを記憶することができる。別の例では、GPMに基づくカレントブロックの幾何学的パーティションがイントラ予測を用いて生成される場合、符号化されたイントラモード（又は幾何学的パーティションを予測するために適用されるイントラモード）は、幾何学的パーティションの対応するN×Nユニット（例えば、4×4ユニット）に記憶され得る。これにより、イントラ予測により生成された幾何学的パーティションに位置するN×Nユニットについて、その幾何学的パーティションに位置するN×Nユニットごとに符号化されたイントラモードを記憶することができる。符号化されたイントラモードは、DCモード、PLANARモード、又は角度モードであり得る。さらに別の例では、GPMに基づくカレントブロックの幾何学的境界に沿った（又はそれを横切る）N×Nユニットについて、カレントブロックにおけるイントラ予測を有する幾何学的パーティションのために使用される符号化されたイントラモードが、幾何学的境界に沿ったN×Nユニットについて記憶され得る。したがって、第1のパーティションがIBC符号化され、第2のパーティションがイントラ符号化されるカレントブロックの幾何学的境界を横切るN×Nユニットについて、第2のパーティションを予測するために適用されるイントラモードを記憶することができる。
【0121】
別の実施形態では、CUがIBC及びイントラモードを用いたGPMで符号化される場合、CU（又はカレントブロック）内のすべてのN×Nユニット（例えば、4×4ユニット）について、DCモードを記憶することができる。したがって、DCモードは、電流ブロック内のN×Nユニットの各々について記憶することができる。対応するN×Nユニットは、IBCで符号化されたパーティション、イントラモードで符号化されたパーティション、又はIBCで符号化されたパーティションとイントラモードで符号化されたパーティションとの幾何学的境界に沿って位置決めされ得る。
【0122】
別の実施形態では、CUがIBC及びイントラモードを用いたGPMで符号化される場合、CU内のすべてのN×Nユニット（例えば、4×4ユニット）について、PLANARモードを記憶することができる。N×Nユニットの各々は、IBCで符号化されたパーティション、イントラモードで符号化されたパーティション、又はIBCで符号化されたパーティションとイントラモードで符号化されたパーティションとの幾何学的境界に沿って位置決めされ得る。
【0123】
さらに別の実施形態では、CU内のイントラ予測を用いた幾何学的パーティションのために使用される選択されたイントラモードのみを、CU内のすべてのN×Nユニット（例えば、4×4ユニット）について記憶することができる。CUは、IBC及びイントラモードを用いたGPMで符号化することができる。選択されたイントラモードは、DCモード、PLANARモード、又はIBC及びイントラモードを用いたGPMで符号化されたCUの幾何学的パーティションを予測するために適用される角度モードとすることができる。したがって、CU内のN×Nユニットのそれぞれについて、対応するN×Nユニットについて選択されたイントラモードを記憶することができる。対応するN×Nユニットは、IBCで符号化されたパーティション、イントラモードで符号化されたパーティション、又はIBCで符号化されたパーティションとイントラモードで符号化されたパーティションとの幾何学的境界に沿って位置決めされ得る。
【0124】
図15は、本開示のいくつかの実施形態による例示的な復号プロセス（1500）の概要を示すフローチャートを示す。図16は、本開示のいくつかの実施形態による例示的な符号化プロセス（1600）の概要を示すフローチャートを示す。提案したプロセスは、別々に使用されても、任意の順序で組み合わされてもよい。さらに、プロセス（又は実施形態）の各々、エンコーダ、及びデコーダは、処理回路（例えば、1つ若しくは複数のプロセッサ、又は1つ若しくは複数の集積回路）によって実装することができる。一例では、1つ又は複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
【0125】
プロセス（例えば、（1500）及び（1600））の任意の動作は、必要に応じて、任意の量又は順序で組み合わせるか、又は配列することができる。実施形態では、プロセス（例えば、（1500）及び（1600））の動作のうちの2つ以上が並行して実施され得る。
【0126】
プロセス（例えば、（1500）及び（1600））は、再構成中のブロックの予測ブロックを生成するために、ブロックの再構成及び／又は符号化に使用することができる。様々な実施形態では、プロセス（例えば、（1500）及び（1600））は、端末デバイス（310）、（320）、（330）及び（340）の処理回路、ビデオエンコーダ（403）の機能を実施する処理回路、ビデオデコーダ（410）の機能を実施する処理回路、ビデオデコーダ（510）の機能を実施する処理回路、ビデオエンコーダ（603）の機能を実施する処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（例えば、（1500）及び（1600））はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（例えば、（1500）及び（1600））を実施する。
【0127】
図15に示されているように、プロセス（1500）は（S1501）から開始され、（S1510）に進むことができる。（S1510）では、ビデオのカレントピクチャ内のカレントブロックの符号化された情報を、符号化されたビデオビットストリームから受信することができる。符号化された情報は、カレントブロックが幾何学的パーティションモード（GPM）に基づいて少なくとも第1のパーティションと第2のパーティションとに分割されていることを示すことができる。第1のパーティションは、イントラブロックコピー（IBC）予測モードに関連付けることができ、第2のパーティションは、イントラ予測モードに関連付けることができる。
【0128】
（S1520）では、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報を記憶することができる。予測モード情報は、第1のサブブロックがIBC予測モード、イントラ予測モード、及びIBC予測モードとイントラ予測モードとの両方のうちの1つに関連付けられているかどうかに基づいて、DCモード、Planarモード、及びイントラ予測モードのうちの1つを含むことができる。
【0129】
プロセス（1500）では、記憶された予測モード情報を使用して、カレントブロックの隣接ブロックに対する最確モード（MPM）導出を実施することができる。
【0130】
いくつかの実施形態では、第1のサブブロックがIBC予測モードに関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にPlanarモードのみを記憶することを含むことができる。
【0131】
いくつかの実施形態では、第1のサブブロックがイントラ予測モードに関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にイントラ予測モードのみを記憶することを含むことができる。
【0132】
いくつかの実施形態では、第1のサブブロックがIBC予測モードとイントラ予測モードとの両方に関連付けられていることに基づいて、予測モード情報を記憶するステップは、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報にイントラ予測モードのみを記憶することを含むことができる。
【0133】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、DCモードを記憶することができる。
【0134】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、Planarモードを記憶することができる。
【0135】
一実施形態では、カレントブロックの第1のパーティションがIBC予測モードに関連付けられ、かつカレントブロックの第2のパーティションがイントラ予測モードに関連付けられていることに基づいて、カレントブロックの複数のサブブロックの各々について、イントラ予測モードを記憶することができる。
【0136】
いくつかの実施形態では、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報は、カレントブロックの隣接ブロックのMPM導出のための伝搬イントラモードであり得、隣接ブロックはIBC予測モードによって予測される。
【0137】
いくつかの実施形態では、カレントブロックの複数のサブブロックの各々は、それぞれ4×4画素のユニットとすることができる。
【0138】
（S1520）の後、プロセスは（S1599）に進み、終了する。
【0139】
プロセス（1500）は、適切に合わせることができる。プロセス（1500）のステップは、修正及び／又は省略することができる。追加のステップを追加することができる。任意の適切な実装順序を使用することができる。
【0140】
図16に示されているように、プロセス（1600）は（S1601）から開始され、（S1610）に進むことができる。（S1610）において、カレントピクチャ内のカレントブロックは、幾何学的パーティションモード（GPM）に基づいて少なくとも第1のパーティションと第2のパーティションとに分割することができる。第1のパーティションは、イントラブロックコピー（IBC）予測モードに関連付けることができ、第2のパーティションは、イントラ予測モードに関連付けることができる。
【0141】
（S1620）では、カレントブロックの複数のサブブロックのうちの第1のサブブロックの予測モード情報を記憶することができる。予測モード情報は、第1のサブブロックがIBC予測モード、イントラ予測モード、及びIBC予測モードとイントラ予測モードとの両方のうちの1つに関連付けられているかどうかに基づいて、DCモード、Planarモード、及びイントラ予測モードのうちの1つを含むことができる。
【0142】
（S1630）において、カレントブロックの符号化情報を生成することができる。符号化情報は、カレントブロックがGPMに基づいて分割されていることを示すことができる。
【0143】
その後、プロセスは（S1699）に進み、終了する。
【0144】
プロセス（1600）は、適切に合わせることができる。プロセス（1600）のステップを、修正及び／又は省略することができる。追加のステップを追加することができる。任意の適切な実装順序を使用することができる。
【0145】
上述された技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つ又は複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図17は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（1700）を示す。
【0146】
コンピュータソフトウェアは、1つ又は複数のコンピュータ中央処理装置（CPU）及びグラフィック処理装置（GPU）などによって直接的に、又は解釈及びマイクロコードの実行などを通して実行され得る命令を含むコードを生成するために、アセンブリ、コンパイル、リンキング、又は同様のメカニズムを受け得る任意の適切なマシンコード又はコンピュータ言語を使用してコーディングされ得る。
【0147】
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、インターネット・オブ・シングス・デバイスなどを含む、様々なタイプのコンピュータ又はその構成要素で実行され得る。
【0148】
コンピュータシステム（1700）に関して図17に示されている構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム（1700）の例示的実施形態に示されている構成要素のいずれか又は組み合わせに関する依存関係又は要件を有すると解釈されるべきではない。
【0149】
コンピュータシステム（1700）は、特定のヒューマンインターフェース入力デバイスを含み得る。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブの動き）、オーディオ入力（例えば、声、拍手）、視覚入力（例えば、ジェスチャ）、嗅覚入力（図示せず）を介した、1人又は複数の人間ユーザによる入力に応答し得る。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（2次元ビデオ、立体ビデオを含む3次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体をキャプチャし得る。
【0150】
入力ヒューマンインターフェースデバイスは、キーボード（1701）、マウス（1702）、トラックパッド（1703）、タッチ画面（1710）、データグローブ（図示せず）、ジョイスティック（1705）、マイクロフォン（1706）、スキャナ（1707）、カメラ（1708）のうちの1つ又は複数（各々のうちのただ1つ）を含み得る。
【0151】
コンピュータシステム（1700）はまた、特定のヒューマンインターフェース出力デバイスを含み得る。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、及び匂い／味によって1人又は複数の人間ユーザの感覚を刺激し得る。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチ画面（1710）、データグローブ（図示せず）、又はジョイスティック（1705）による触覚フィードバックが含まれることがあるが、入力デバイスとして機能しない触覚フィードバックデバイスもあり得る）、オーディオ出力デバイス（スピーカ（1709）、ヘッドホン（図示せず）など）、視覚出力デバイス（それぞれがタッチ画面入力機能の有無にかかわらず、それぞれが触覚フィードバック機能の有無にかかわらず、CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（1710）などであり、それらの一部は、ステレオグラフィック出力、仮想現実ガラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）などの手段を介して二次元視覚出力又は三次元以上の出力が可能であり得る）、及びプリンタ（図示せず）を含み得る。
【0152】
コンピュータシステム（1700）は、CD／DVDなどの媒体（1721）を伴うCD／DVD ROM／RW（1720）を含む光媒体、サムドライブ（1722）、リムーバブルハードドライブやソリッドステートドライブ（1723）、テープやフロッピーディスク（図示せず）などのレガシー磁気媒体、セキュリティドングル（図示せず）などの専用のROM／ASIC／PLDベースのデバイスなど、人間がアクセス可能な記憶装置及びその関連媒体を含むこともできる。
【0153】
当業者はまた、現在開示された主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、又は他の一時的な信号を包含しないことを理解するはずである。
【0154】
コンピュータシステム（1700）はまた、1つ又は複数の通信ネットワーク（1755）へのインターフェース（1754）を含むことができる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両用及び産業用、リアルタイム、遅延耐性などであり得る。ネットワークの例には、Ethernetなどのローカルエリアネットワーク、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラネットワーク、ケーブルテレビ、衛星テレビ及び地上波テレビを含むテレビの有線又は無線広域デジタルネットワーク、CANBusを含む車両用及び産業用などが含まれる。特定のネットワークは、一般に、特定の汎用データポート又は周辺バス（1749）（例えば、コンピュータシステム（1700）のUSBポートなど）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に記載されるようにシステムバスへの接続によってコンピュータシステム（1700）のコアに統合される（例えば、PCコンピュータシステムへのイーサネットインターフェース又はスマートフォンコンピュータシステムへのセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（1700）は、他のエンティティと通信することができる。このような通信は、単方向、受信のみ（例えば、放送TV）、単方向送信のみ（例えば、CANbusから特定のCANbusデバイスへ）、又は双方向、例えば、ローカルエリアデジタルネットワーク又はワイドエリアデジタルネットワークを用いる他のコンピュータシステムとの通信であり得る。特定のプロトコル及びプロトコルスタックは、上記で説明したように、それらのネットワーク及びネットワークインターフェースのそれぞれで使用され得る。
【0155】
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶装置、及びネットワークインターフェースを、コンピュータシステム（1700）のコア（1740）に取り付けることができる。
【0156】
コア（1740）は、1つ又は複数の中央処理装置（CPU）（1741）、グラフィックス処理装置（GPU）（1742）、フィールドプログラマブルゲートエリア（FPGA）（1743）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（1744）、グラフィックスアダプタ（1750）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ROM）（1745）、ランダムアクセスメモリ（1746）、ユーザがアクセスすることができない内部ハードドライブ、SSDsなどの内部大容量ストレージ（1747）とともに、システムバス（1748）を介して接続され得る。いくつかのコンピュータシステムでは、システムバス（1748）は、追加のCPU、GPUなどによる拡張を可能にするために、1つ又は複数の物理プラグの形態でアクセス可能であり得る。周辺デバイスを、コアのシステムバス（1748）に直接取り付けることも、周辺バス（1749）を介して取り付けることもできる。一例では、画面（1710）をグラフィックスアダプタ（1750）に接続することができる。周辺バス用のアーキテクチャには、PCI、USBなどが含まれる。
【0157】
CPU（1741）、GPU（1742）、FPGA（1743）、及びアクセラレータ（1744）は、組み合わさって上記のコンピュータコードを形成することができる特定の命令を実行することができる。そのコンピュータコードを、ROM（1745）又はRAM（1746）に記憶することができる。移行データもまたRAM（1746）に記憶することができるが、永続データを、例えば内部大容量ストレージ（1747）に記憶することができる。1つ又は複数のCPU（1741）、GPU（1742）、大容量ストレージ（1747）、ROM（1745）、RAM（1746）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶及び取得を可能にすることができる。
【0158】
コンピュータ可読媒体は、様々なコンピュータ実装動作を実施するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計及び構築されたものであり得るか、又はそれらは、コンピュータソフトウェア技術のスキルを有する人々に周知かつ利用可能な種類であり得る。
【0159】
限定ではなく、例として、アーキテクチャ（1700）、特にコア（1740）を有するコンピュータシステムは、1つ又は複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能を提供することができる。そのようなコンピュータ可読媒体は、上記で紹介したようにユーザがアクセス可能な大容量ストレージのほか、コア内部大容量ストレージ（1747）又はROM（1745）などの非一時的性質のコア（1740）の特定のストレージにも関連する媒体であり得る。本開示の様々な実施形態を実装するソフトウェアをこのようなデバイスに記憶して、コア（1740）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、1つ又は複数のメモリデバイス又はチップを含むことができる。ソフトウェアによって、コア（1740）、特にコア（1740）内のプロセッサ（CPU、GPU、FPGAなどを含む）に、本明細書に記載の、RAM（1746）に記憶されるデータ構造を決めることと、ソフトウェアによって定められたプロセスに従ってこのようなデータ構造を修正することとを含む、特定のプロセス又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、本明細書に記載の特定のプロセス又は特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに又はそれと一緒に動作することができる回路（例えば、アクセラレータ（1744））に配線された又はそうでなければ具体化されたロジックの結果として機能を提供することができる。ソフトウェアへの言及は、適切な場合には、ロジックを包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、又はこれらの両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
付記A：頭字語
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足強化情報
VUI：ビデオのユーザビリティ情報
GOPs：ピクチャグループ
TUs：変換ユニット
PUs：予測ユニット
CTUs：コーディングツリーユニット
CTBs：コーディングツリーブロック
PBs：予測ブロック
HRD：仮想参照デコーダ
SNR：信号雑音比
CPUs：中央処理装置
GPUs：グラフィックス処理装置
CRT：ブラウン管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
付記A：頭字語
JEM：共同探索モデル
VVC：多用途ビデオコーディング
BMS：ベンチマークセット
MV：動きベクトル
HEVC：高効率ビデオコーディング
SEI：補足強化情報
VUI：ビデオのユーザビリティ情報
GOPs：ピクチャグループ
TUs：変換ユニット
PUs：予測ユニット
CTUs：コーディングツリーユニット
CTBs：コーディングツリーブロック
PBs：予測ブロック
HRD：仮想参照デコーダ
SNR：信号雑音比
CPUs：中央処理装置
GPUs：グラフィックス処理装置
CRT：ブラウン管
LCD：液晶ディスプレイ
OLED：有機発光ダイオード
CD：コンパクトディスク
DVD：デジタルビデオディスク
ROM：読み取り専用メモリ
RAM：ランダムアクセスメモリ
ASIC：特定用途向け集積回路
PLD：プログラマブルロジックデバイス
LAN：ローカルエリアネットワーク
GSM：グローバル移動体通信システム
LTE：ロングタームエボリューション
CANBus：コントローラエリアネットワークバス
USB：ユニバーサルシリアルバス
PCI：周辺構成要素相互接続
FPGA：フィールドプログラマブルゲートエリア
SSD：ソリッドステートドライブ
IC：集積回路
CU：コーディングユニット
【0160】
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、及び様々な代替均等例がある。よって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具現化する、したがって本開示の趣旨及び範囲内にある多数のシステム及び方法を考案することができることが理解されよう。
【符号の説明】
【0161】
101 サンプル
102 矢印
103 矢印
104 ブロック
110 概略図
201 カレントブロック
202 サンプル
203 サンプル
204 サンプル
205 サンプル
206 サンプル
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャ
403 ビデオエンコーダ
404 符号化されたビデオデータ
405 ストリーミングサーバ
406 クライアントサブシステム
407 入力コピー
408 クライアントサブシステム
409 コピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダリングデバイス
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 カレントピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 デコーダ
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
901 カレントブロック
902 ブロック
903 ブロック
904 ブロック
905 ブロック
906 ブロック
1102 点線
1104 コロケートされたCU
1106 参照ピクチャ
1108 カレントピクチャ
1110 コロケートされた参照ピクチャ
1112 コロケートされたピクチャ、コロケートされた参照ピクチャ
1114 カレントCU
1402 CU
1500 プロセス
1600 プロセス
1700 コンピュータシステム
1701 キーボード
1702 マウス
1703 トラックパッド
1705 ジョイスティック
1706 マイクロフォン
1707 スキャナ
1708 カメラ
1709 スピーカ
1710 タッチ画面
1720 CD／DVD ROM／RW
1721 CD／DVDなどの媒体
1722 サムドライブ
1723 リムーバブルハードドライブ、ソリッドステートドライブ
1740 コア
1741 CPU
1742 GPU
1743 FGPA
1744 アクセラレータ
1745 ROM
1746 RAM
1747 大容量ストレージ
1748 システムバス
1749 周辺バス
1750 グラフィックスアダプタ
1754 インターフェース
1755 通信ネットワーク
102 矢印
103 矢印
104 ブロック
110 概略図
201 カレントブロック
202 サンプル
203 サンプル
204 サンプル
205 サンプル
206 サンプル
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャ
403 ビデオエンコーダ
404 符号化されたビデオデータ
405 ストリーミングサーバ
406 クライアントサブシステム
407 入力コピー
408 クライアントサブシステム
409 コピー
410 ビデオデコーダ
411 出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダリングデバイス
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信機
551 スケーラ／逆変換ユニット
552 イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 カレントピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 デコーダ
634 参照ピクチャメモリ
635 予測器
640 送信機
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
901 カレントブロック
902 ブロック
903 ブロック
904 ブロック
905 ブロック
906 ブロック
1102 点線
1104 コロケートされたCU
1106 参照ピクチャ
1108 カレントピクチャ
1110 コロケートされた参照ピクチャ
1112 コロケートされたピクチャ、コロケートされた参照ピクチャ
1114 カレントCU
1402 CU
1500 プロセス
1600 プロセス
1700 コンピュータシステム
1701 キーボード
1702 マウス
1703 トラックパッド
1705 ジョイスティック
1706 マイクロフォン
1707 スキャナ
1708 カメラ
1709 スピーカ
1710 タッチ画面
1720 CD／DVD ROM／RW
1721 CD／DVDなどの媒体
1722 サムドライブ
1723 リムーバブルハードドライブ、ソリッドステートドライブ
1740 コア
1741 CPU
1742 GPU
1743 FGPA
1744 アクセラレータ
1745 ROM
1746 RAM
1747 大容量ストレージ
1748 システムバス
1749 周辺バス
1750 グラフィックスアダプタ
1754 インターフェース
1755 通信ネットワーク
【図1A】
【図1B】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
