特表2025-504271 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ テンセント・アメリカ・エルエルシーの特許一覧

特表2025-504271ビデオコーディングのための方法、装置、及びコンピュータプログラム

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19A
19B
20
21
22

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-02-12

(54)【発明の名称】ビデオコーディングのための方法、装置、及びコンピュータプログラム

(51)【国際特許分類】

H04N 19/52 20140101AFI20250204BHJP

H04N 19/176 20140101ALI20250204BHJP

H04N 19/139 20140101ALI20250204BHJP

【ＦＩ】

H04N19/52

H04N19/176

H04N19/139

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024513691

(86)(22)【出願日】2022-11-11

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 US2022079706

(87)【国際公開番号】W WO2023204874

(87)【国際公開日】2023-10-26

(31)【優先権主張番号】63/332,131

(32)【優先日】2022-04-18

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/984,123

(32)【優先日】2022-11-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇利明

(72)【発明者】

【氏名】チェン，リエン－フェイ

(72)【発明者】

【氏名】リー，シャン

(72)【発明者】

【氏名】リー，グイチュン

(72)【発明者】

【氏名】リウ，シャン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159MA04

5C159MA05

5C159MA21

5C159MC11

5C159ME01

5C159NN11

5C159NN12

5C159NN13

5C159PP04

5C159RC16

5C159TA62

5C159TB07

5C159TB08

5C159UA02

5C159UA05

(57)【要約】

本開示の態様は、方法と処理回路を含む装置とを提供し、符号化ビデオビットストリーム内のシンタックス要素に基づいて、複数のサブブロックを含む現在ブロックがサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードでコーディングされることを決定する。動きベクトルオフセット（ＭＶＯ）を示すＭＶＯ情報が受信される。ＭＶＯは、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用される変位ベクトル（ＤＶ）の動きオフセットを示す。ＤＶ及びＭＶＯに基づいて現在ブロックの更新されたＤＶが決定される。複数のサブブロックのそれぞれのサブブロックのＳｂＴＭＶＰ情報が、更新されたＤＶによって示されるコロケートブロック内の対応するサブブロックの動き情報に基づいて導出される。ＳｂＴＭＶＰモードの上記複数のサブブロックが、上記複数のサブブロックのＳｂＴＭＶＰ情報に基づいて再構成される。

【特許請求の範囲】

【請求項1】

デコーダが実行する映像復号の方法であって、
現在ピクチャを有する符号化ビデオビットストリームを受信するステップであり、該現在ピクチャは現在ブロックを含み、該現在ブロックは複数のサブブロックを含む、ステップと、
前記符号化ビデオビットストリーム内のシンタックス要素に基づいて、前記複数のサブブロックを含む前記現在ブロックがサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードでコーディングされることを決定するステップと、
動きベクトルオフセット（ＭＶＯ）を示す前記現在ブロックのＭＶＯ情報を取得するステップであり、該ＭＶＯは、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用される変位ベクトル（ＤＶ）の動きオフセットを示す、ステップと、
前記現在ブロックの前記ＤＶ及び前記ＭＶＯに基づいて、前記現在ブロックの更新されたＤＶを決定するステップであり、該更新されたＤＶは、前記コロケート参照ピクチャ内の前記コロケートブロックの調整された位置を示す、ステップと、
前記複数のサブブロックのそれぞれのサブブロックのＳｂＴＭＶＰ情報を、少なくとも、前記更新されたＤＶによって示される前記コロケートブロック内の対応するサブブロックの動き情報に基づいて、導出するステップと、
前記複数のサブブロックの前記サブブロックの前記ＳｂＴＭＶＰ情報に基づいて、前記ＳｂＴＭＶＰモードで前記複数のサブブロックを再構成するステップと、
を有する方法。

【請求項2】

前記更新されたＤＶを前記決定するステップは、
前記更新されたＤＶを、前記ＤＶと前記ＭＶＯとのベクトル和であるように決定すること、
を有する、請求項１に記載の方法。

【請求項3】

前記ＭＶＯ情報は、前記符号化ビデオビットストリーム内でシグナリングされる前記ＭＶＯを含む、
請求項１に記載の方法。

【請求項4】

前記ＭＶＯ情報は、前記ＭＶＯの大きさ及び前記ＭＶＯの方向を示す少なくとも１つのインデックスを示す、
請求項１に記載の方法。

【請求項5】

前記少なくとも１つのインデックスは、一組の所定の距離のうちの１つである前記ＭＶＯの前記大きさを示す距離インデックスと、一組の所定の方向のうちの１つである前記ＭＶＯの前記方向を示す方向インデックスとを含む、
請求項４に記載の方法。

【請求項6】

前記一組の所定の距離及び前記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される、
請求項５に記載の方法。

【請求項7】

前記更新されたＤＶは、前記コロケートブロックが前記コロケート参照ピクチャ内の制約されたエリア内にあるように制約され、前記制約されたエリアは、前記現在ピクチャ内の現在ＣＴＵに対応するコロケートエリアを含み、前記現在ＣＴＵが前記現在ブロックを含む、
請求項１に記載の方法。

【請求項8】

デコーダが実行する映像復号の方法であって、
符号化ビデオビットストリームから現在ピクチャ内の現在ブロックの動きベクトル（ＭＶ）オフセット情報を受信するステップであり、該現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して再構成される複数のサブブロックを含む、ステップと、
前記現在ブロックとコロケートであるコロケート参照ピクチャ内のコロケートブロックを示す前記現在ブロックの変位ベクトル（ＤＶ）を決定するステップと、
前記複数のサブブロックのうちのサブブロックの動き情報を、前記コロケートブロック内の対応するサブブロックの動き情報に基づいて決定するステップと、
前記複数のサブブロックのうちの前記サブブロックの前記動き情報と、前記ＭＶオフセット情報によって示される前記現在ブロックのＭＶオフセットとに基づいて、前記複数のサブブロックのうちの前記サブブロックの更新された動き情報を決定するステップと、
前記更新された動き情報に基づいて、前記複数のサブブロックのうちの前記サブブロックを再構成するステップと、
を有する方法。

【請求項9】

前記ＭＶオフセット情報は、前記符号化ビデオビットストリーム内でシグナリングされる前記ＭＶオフセットを含む、
請求項８に記載の方法。

【請求項10】

前記ＭＶオフセット情報は、前記ＭＶオフセットの大きさ及び前記ＭＶオフセットの方向を示す少なくとも１つのインデックスを示す、
請求項８に記載の方法。

【請求項11】

前記少なくとも１つのインデックスは、一組の所定の距離のうちの１つである前記ＭＶオフセットの前記大きさを示す距離インデックスと、一組の所定の方向のうちの１つである前記ＭＶオフセットの前記方向を示す方向インデックスとを含む、
請求項１０に記載の方法。

【請求項12】

前記一組の所定の距離及び前記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される、
請求項１１に記載の方法。

【請求項13】

前記複数のサブブロックのうちの前記サブブロックの前記動き情報は、第１の参照ピクチャリストＬ０からの第１の参照ピクチャに関連付けられた第１の動きベクトル（ＭＶ）を含み、
前記更新された動き情報を前記決定するステップは、前記第１のＭＶと前記ＭＶオフセットとのベクトル和である更新された第１のＭＶを決定することを含み、前記更新された動き情報は前記更新された第１のＭＶを含む、
請求項８に記載の方法。

【請求項14】

前記複数のサブブロックのうちの前記サブブロックの前記動き情報は、第２の参照ピクチャリストＬ１からの第２の参照ピクチャに関連付けられた第２のＭＶを含み、
前記更新された動き情報を前記決定するステップは、
（ｉ）前記第２のＭＶと前記ＭＶオフセットとのベクトル差、又は
（ｉｉ）前記第２のＭＶとスケーリングされたＭＶオフセットとのベクトル和であり、該スケーリングされたＭＶオフセットは、前記ＭＶオフセットと、前記現在ピクチャのピクチャオーダカウント（ＰＯＣ）と、前記第１の参照ピクチャのＰＯＣと、前記第２の参照ピクチャのＰＯＣとに基づく、ベクトル和、
のうちの一方である更新された第２のＭＶを決定することを含む、
請求項１３に記載の方法。

【請求項15】

エンコーダが実行する映像符号化の方法であって、
現在ピクチャ内の現在ブロックの更新された変位ベクトル（ＤＶ）を、前記現在ブロックのＤＶ及び前記現在ブロックのＤＶオフセットに基づいて決定するステップであり、当該更新されたＤＶは、前記現在ブロックとコロケートであるコロケート参照ピクチャ内のコロケートブロックを示し、前記現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して符号化される複数のサブブロックを含む、ステップと、
前記複数のサブブロックのうちのサブブロックの動き情報を、前記コロケートブロック内の対応するサブブロックの動き情報に基づいて決定するステップと、
前記ＤＶオフセットを示すＤＶオフセット情報を符号化するステップと、
前記複数のサブブロックのうちの前記サブブロックを、前記複数のサブブロックのうちの前記サブブロックの動き情報に基づいて符号化するステップと、
を有する方法。

【請求項16】

エンコーダが実行する映像符号化の方法であって、
現在ピクチャ内の現在ブロックの変位ベクトル（ＤＶ）を決定するステップであり、前記現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して符号化される複数のサブブロックを含み、当該ＤＶは、前記現在ブロックとコロケートであるコロケート参照ピクチャ内のコロケートブロックを示す、ステップと、
前記複数のサブブロックのうちのサブブロックの動き情報を、前記コロケートブロック内の対応するサブブロックの動き情報に基づいて決定するステップと、
前記複数のサブブロックのうちの前記サブブロックの動き情報と前記現在ブロックの動きベクトル（ＭＶ）オフセットとに基づいて、前記複数のサブブロックのうちの前記サブブロックの更新された動き情報を決定するステップと、
前記ＭＶオフセットを示すＭＶオフセット情報を符号化するステップと、
前記複数のサブブロックのうちの前記サブブロックを、前記更新された動き情報に基づいて符号化するステップと、
を有する方法。

【請求項17】

１つ以上のプロセッサと、
コンピュータプログラムを格納した１つ以上のメモリと、
を有し、
前記コンピュータプログラムは、前記１つ以上のプロセッサに、請求項１乃至１４のいずれか一項に記載の方法を実行させる、
装置。

【請求項18】

１つ以上のプロセッサと、
コンピュータプログラムを格納した１つ以上のメモリと、
を有し、
前記コンピュータプログラムは、前記１つ以上のプロセッサに、請求項１５又は１６に記載の方法を実行させる、
装置。

【請求項19】

コンピュータに請求項１乃至１４のいずれか一項に記載の方法を実行させるコンピュータプログラム。

【請求項20】

コンピュータに請求項１５又は１６に記載の方法を実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、２０２２年４月１８日に出願された米国仮出願第６３／３３２，１３１号“SUBBLOCK BASED MOTION VECTOR PREDICTOR WITH MOTION VECTOR OFFSET”に対する優先権の利益を主張するものである２０２２年１１月９日に出願された米国特許出願第１７／９８４，１２３号“A SUB-BLOCK BASED TEMPORAL MOTION VECTOR PREDICTOR WITH AN MOTION VECTOR OFFSET”に対する優先権の利益を主張するものである。これら先行出願の開示をそれらの全体にてここに援用する。

【0002】

本開示は、ビデオコーディングに概して関係する実施形態を記述する。

【背景技術】

【0003】

ここに提示される背景説明は、開示に係る状況を概略的に提示するためのものである。この背景セクションに記載される範囲においての、ここに名を連ねる発明者の仕事、並びに、出願時にさもなければ従来技術として適格でないかもしれない記載の態様は、明示的にも、暗示的にも、本開示に対する先行技術として認められるものではない。

【0004】

圧縮されていないデジタル画像及び／又は映像は一連のピクチャを含み、各ピクチャが、例えば、１９２０×１０８０のルミナンスサンプル及び関連するクロミナンスサンプルの空間寸法を持つ。一連のピクチャは、固定又は可変のピクチャレート（非公式にはフレームレートとしても知られる）を持つことができ、例えば、毎秒６０ピクチャ、すなわち、６０Ｈｚのピクチャレートを持ち得る。圧縮されていない画像及び／又は映像は、特定のビットレート要求を持つ。例えば、サンプル当たり８ビットの１０８０ｐ６０４：２：０映像（６０Ｈｚのフレームレートで１９２０×１０８０のルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓに近い帯域幅を必要とする。１時間のこのような映像は、６００ＧＢｙｔｅを超えるストレージ空間を必要とする。

【0005】

画像及び／又は映像の符号化及び復号の１つの目的は、圧縮を通じての入力画像及び／又は映像信号の冗長性の低減であるとし得る。圧縮は、前述の帯域幅要求及び／又はストレージ空間要求を、場合によって２桁以上の大きさで、低減させる助けとなることができる。ここでの説明は説明例として映像の符号化／復号を用いるが、本開示の精神から逸脱することなく、同じ技術を同様のやり方で画像の符号化／復号に適用することができる。可逆圧縮及び非可逆圧縮の双方、並びにこれらの組み合わせを使用することができる。可逆圧縮は、原信号の正確な複製を圧縮された原信号から再構成することができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は、原信号と同じにならないことがあるが、原信号と再構成信号との間の歪みは、再構成信号を意図した用途に有用にするのに十分な小ささとなる。映像の場合、非可逆圧縮が広く用いられる。許容される歪みの量は用途に依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高い歪みを許容し得る。達成可能な圧縮比はそれを反映し、より高い許容／我慢できる歪みは、より高い圧縮比をもたらすことができる。

【0006】

ビデオエンコーダ及びデコーダは、例えば、動き補償、変換処理、量子化、及びエントロピーコーディングを含め、幾つかの広範なカテゴリからの技術を利用することができる。

【0007】

ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングにおいて、サンプル値は、先行して再構成された参照ピクチャからのサンプル又は他のデータを参照することなく表現される。一部のビデオコーデックにおいて、ピクチャは複数ブロックのサンプルへと空間的に細分される。全てのブロックのサンプルがイントラモードでコーディングされる場合、そのピクチャはイントラピクチャとすることができる。イントラピクチャ及び例えば独立デコーダリフレッシュピクチャなどのそれらの派生物は、デコーダ状態をリセットするために使用されることができ、従って、コーディングされるビデオビットストリーム及びビデオセッションにおける最初のピクチャとして、又は静止画として使用されることができる。イントラブロックのサンプルを変換にかけることができ、変換係数が、エントロピーコーディングの前に量子化され得る。イントラ予測は、変換前ドメインにおけるサンプル値を最小化する技術であるとし得る。場合により、変換後のＤＣ値が小さいほど、及びＡＣ係数が小さいほど、エントロピーコーディング後にブロックを表すのに所与の量子化ステップサイズで必要とされるビット数が少なくなる。

【0008】

例えばＭＰＥＧ－２世代のコーディング技術で使用される伝統的なイントラコーディングはイントラ予測を使用しない。しかしながら、より新しい一部の映像圧縮技術は、例えば、データのブロックの符号化及び／又は復号中に得られた周囲のサンプルデータ及び／又はメタデータに基づいて、予測を行うことを試みる技術を含む。このような技術を、以後、“イントラ予測”技術と呼ぶ。なお、少なくとも一部のケースにおいて、イントラ予測は、再構成中の現在ピクチャからの参照データのみを使用し、参照ピクチャからのものは使用しない。

【0009】

数多くの異なる形態のイントラ予測が存在し得る。所与のビデオコーディング技術において、そのような技術のうち２つ以上が使用され得る場合、使用される特定の技術が、その特定の技術を使用する特定のイントラ予測モードとしてコーディングされ得る。ある特定のケースにおいて、イントラ予測モードはサブモード及び／又はパラメータを持つことができ、それらサブモード及び／又はパラメータが、個別にコーディングされたり、使用される予測モードを定義するものであるモードコードワードに含められたりすることができる。所与のモード、サブモード、及び／又はパラメータの組み合わせにどのコードワードを使用するかということは、イントラ予測を通じたコーディング効率利得に影響を与え得ることであり、コードワードをビットストリームに変換するのに使用されるエントロピーコーディング技術も同様であり得る。

【0010】

イントラ予測の特定のモードが、Ｈ．２６４で導入され、Ｈ．２６５で改良され、そして、例えば共同探査モデル（ＪＥＭ）、バーサタイルビデオコーディング（ＶＶＣ）、及びベンチマークセット（ＢＭＳ）などの、より新しいコーディング技術でさらに改良された。既に利用可能なサンプルの隣接サンプル値を用いて予測子ブロックが形成され得る。隣接サンプルのサンプル値が、方向に従って予測子ブロックにコピーされる。使用する方向の参照が、ビットストリームにコーディングされるか、それ自体が予測されるかし得る。

【0011】

図１Ａを参照するに、右下に、Ｈ．２６５で定義された３３個の取り得る予測子方向（３５個のイントラモードのうちの３３個の角度モードに対応）から知られる９個の予測子方向のサブセットが描かれている。矢印が集まった点（１０１）が予測中のサンプルを表す。矢印は、その方向からサンプルが予測されることを表す。例えば、矢印（１０２）は、サンプル（１０１）が、水平から４５度の角度で右上の１つのサンプル又は複数のサンプルから予測されることを指し示す。同様に、矢印（１０３）は、サンプル（１０１）が、水平から２２．５度の角度で左下の１つのサンプル又は複数のサンプルから予測されることを指し示す。

【0012】

なおも図１Ａを参照するに、左上に、４×４サンプルの正方形ブロック（１０４）（破線の太線で示す）が描かれている。正方形ブロック（１０４）は、１６個のサンプルを含み、各サンプルが、“Ｓ”と、Ｙ次元でのその位置（例えば、行インデックス）と、Ｘ次元でのその位置（例えば、列インデックス）とでラベル付けられている。例えば、サンプルＳ２１は、Ｙ次元で（上から）２番目、且つＸ次元で（左から）１番目のサンプルである。同様に、サンプルＳ４４は、ブロック（１０４）内の、Ｙ及びＸの両方の次元で４番目のサンプルである。このブロックは４×４サンプルのサイズなので、Ｓ４４は右下にある。さらに、同様の番号付けスキームに従った参照サンプルが示されている。参照サンプルは、Ｒと、ブロック（１０４）に対するＹ位置（例えば、行インデックス）及びＸ位置（列インデックス）とでラベル付けられている。Ｈ．２６４及びＨ．２６５の両方で、予測サンプルは再構成中のブロックに隣接し、それ故に、負の値を使用する必要はない。

【0013】

イントラピクチャ予測は、シグナリングされる予測方向によって示される隣接サンプルからの参照サンプル値をコピーすることによって機能する。例えば、このブロックについて、予測方向が矢印（１０２）と一致すること、すなわち、水平から４５度右上のサンプルからサンプルが予測されること、を指し示すシグナリングを符号化ビデオビットストリームが含んでいると仮定する。その場合、サンプルＳ４１、Ｓ３２、Ｓ２３、及びＳ１４は、同じ参照サンプルＲ０５から予測される。そして、サンプルＳ４４は、参照サンプルＲ０８から予測される。

【0014】

特定のケースにおいて、特に、方向を４５度ずつ等分できない場合に、参照サンプルを計算するために、例えば内挿により、複数の参照サンプルの値を結合することがある。

【0015】

ビデオコーディング技術が発展するにつれて、取り得る方向の数が増加している。Ｈ．２６４（２００３年）では９個の異なる方向を表すことができた。これが、Ｈ．２６５（２０１３年）で３３個に増加した。現在、ＪＥＭ／ＶＶＣ／ＢＭＳは６５個に至る方向をサポートすることができる。最も可能性の高い方向を特定するために実験が行われており、そして、より可能性の低い方向に対するペナルティを受け入れて、それら可能性の高い方向を少数のビットで表現するように、エントロピーコーディングにおける特定の技術が用いられる。さらに、それらの方向自体が、隣接する既に復号されたブロックで用いられた隣接方向から予測されることもある。

【0016】

図１Ｂは、徐々に数が増えている予測方向を例示すために、ＪＥＭに従った６５個のイントラ予測方向を描いた概略図（１１０）を示している。

【0017】

符号化ビデオビットストリーム内の方向を表すイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なり得る。そのようなマッピングは、例えば、単純な直接マッピングから、コードワードや、最確モードを含む複雑な適応方式、及び同様の技術まで及び得る。しかし、殆どのケースで、映像コンテンツには、他の特定の方向よりも統計的に発生しにくい特定の方向が存在し得る。映像圧縮の目標は冗長性の低減であるので、良好に動作するビデオコーディング技術では、それら可能性の低い方向は、可能性の高い方向よりも多数のビットで表されることになる。

【0018】

動き補償を用いるインターピクチャ予測を使用して画像及び／又は映像の符号化及び復号を実行することができる。動き補償は、非可逆圧縮技術であるとし得るとともに、先行して再構成されたピクチャ又はその一部（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以下、ＭＶ）によって指し示される方向に空間的にシフトされた後に、新たに再構成されるピクチャ又はピクチャ部分の予測のために使用される技術に関係するとすることができる。一部のケースにおいて、参照ピクチャは、現在再構成中のピクチャと同じであることができる。ＭＶは、２つの次元Ｘ及びＹを有することができ、あるいは、使用する参照ピクチャを指し示すインジケーションを３つめとして３つの次元を有することができる（後者は、間接的に、時間次元であるとすることができる）。

【0019】

一部の映像圧縮技術では、サンプルデータのある特定の領域に適用可能なＭＶを、例えば、復号順でそのＭＶに先行するＭＶであって再構成中の領域に空間的に隣接するサンプルデータの別領域に関係するＭＶからなど、別のＭＶから予測することができる。そうすることは、そのＭＶをコーディングするのに必要なデータの量を大幅に減らすことができ、それにより冗長性を取り除いて圧縮を高めることができる。ＭＶ予測は、効果的に機能することができる。何故なら、例えば、カメラに由来する入力ビデオ信号（ナチュラルビデオとして知られる）をコーディングするとき、単一のＭＶが適用可能である領域よりも大きい領域が同様の方向に移動し、それ故に、場合により、隣接する領域のＭＶから導出される同様の動きベクトルを用いて予測されることができる、という統計的尤度があるからである。これがもたらすのは、所与の領域に対して見出されたＭＶが、周囲のＭＶから予測されるＭＶと類似又は同じであり、ひいては、エントロピーコーディングの後に、そのＭＶを直接コーディングする場合に使用されることになるものよりも少ないビット数で表されることができるということである。一部のケースでは、ＭＶ予測は、原信号（つまりは、サンプルストリーム）から導出される信号（つまりは、ＭＶ）の可逆圧縮の一例であることができる。他のケースでは、例えば、幾つかの周囲ＭＶから予測子を計算する際の丸め誤差のために、ＭＶ予測それ自体が非可逆的であるとし得る。

【0020】

様々なＭＶ予測メカニズムが、Ｈ．２６５／ＨＥＶＣ（ＩＴＵ－Ｔ勧告Ｈ．２６５，“High Efficiency Video Coding”、２０１６年１２月）に記述されている。Ｈ．２６５が提供するそれら多数のＭＶ予測メカニズムのうち、以下では“空間マージ”と称する技術を、図２を参照して説明する。

【0021】

図２を参照するに、現在ブロック（２０１）は、空間的にシフトされた同じサイズの先行ブロックから予測可能であることが動き探索プロセス中にエンコーダによって見出されたサンプルを有する。ＭＶを直接コーディングする代わりに、ＭＶを、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ２０２から２０６）と表記する５つの周囲サンプルのうちのいずれか１つに関連するＭＶを用いて、例えば（復号順で）直前の参照ピクチャからなど、１つ以上の参照ピクチャに関連するメタデータから導出することができる。Ｈ．２６５において、ＭＶ予測は、隣接ブロックが使用しているのと同じ参照ピクチャからの予測子を使用することができる。

【発明の概要】

【0022】

本開示の態様は、映像符号化／復号のための方法及び装置を提供する。一部の例において、映像復号のための装置は処理回路を含む。一実施形態において、処理回路は、符号化ビデオビットストリームから現在ピクチャ内の現在ブロックの変位ベクトル（ＤＶ）オフセット情報を受信する。現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して再構成される複数のサブブロックを含む。現在ブロックのＤＶと現在ブロックのＤＶオフセットとに基づいて、現在ブロックの更新されたＤＶを決定することができる。ＤＶオフセットはＤＶオフセット情報によって示される。現在ブロックの更新されたＤＶは、コロケート参照ピクチャ内のコロケートブロックを指し示す。コロケートブロックは現在ブロックとコロケートである。処理回路は、上記複数のサブブロックのうちのサブブロックの動き情報を、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定し、上記複数のサブブロックのうちの該サブブロックの動き情報に基づいて上記複数のサブブロックのうちの該サブブロックを再構成する。

【0023】

一実施形態において、処理回路は、上記更新されたＤＶを、ＤＶとＭＶオフセットとのベクトル和であるように決定する。

【0024】

一実施形態において、ＤＶオフセット情報は、符号化ビデオビットストリーム内でシグナリングされるＤＶオフセットを含む。

【0025】

一実施形態において、ＤＶオフセット情報は、ＤＶオフセットの大きさ及びＤＶオフセットの方向を示す少なくとも１つのインデックスを示す。

【0026】

一例において、上記少なくとも１つのインデックスは、一組の所定の距離のうちの１つであるＤＶオフセットの大きさを示す距離インデックスと、一組の所定の方向のうちの１つであるＤＶオフセットの方向を示す方向インデックスとを含む。

【0027】

一例において、上記一組の所定の距離及び上記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される。

【0028】

一例において、更新されたＤＶは、コロケートブロックがコロケート参照ピクチャ内の制約されたエリア内にあるように制約される。制約されたエリアは、現在ピクチャ内の現在ＣＴＵに対応するコロケートエリアを含み、現在ＣＴＵが現在ブロックを含む。

【0029】

一実施形態において、現在ピクチャを有する符号化ビデオビットストリームが受信される。現在ピクチャは現在ブロックを含む。現在ブロックは複数のサブブロックを含む。処理回路は、符号化ビデオビットストリーム内のシンタックス要素に基づいて、上記複数のサブブロックを含む現在ブロックがＳｂＴＭＶＰモードでコーディングされることを決定する。処理回路は、動きベクトルオフセット（ＭＶＯ）を示す現在ブロックのＭＶＯ情報を取得する。ＭＶＯは、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用される変位ベクトル（ＤＶ）の動きオフセットを示す。処理回路は、現在ブロックのＤＶ及びＭＶＯに基づいて、現在ブロックの更新されたＤＶを決定する。更新されたＤＶは、コロケート参照ピクチャ内のコロケートブロックの調整された位置を示す。処理回路は、上記複数のサブブロックのそれぞれのサブブロックのＳｂＴＭＶＰ情報を、少なくとも、更新されたＤＶによって示されるコロケートブロック内の対応するサブブロックの動き情報に基づいて、導出し、上記複数のサブブロックのＳｂＴＭＶＰ情報に基づいて、ＳｂＴＭＶＰモードで上記複数のサブブロックを再構成する。

【0030】

一実施形態において、処理回路は、符号化ビデオビットストリームから現在ピクチャ内の現在ブロックの動きベクトル（ＭＶ）オフセット情報を受信する。現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して再構成される複数のサブブロックを含む。処理回路は、現在ブロックとコロケートであるコロケート参照ピクチャ内のコロケートブロックを示す現在ブロックの変位ベクトル（ＤＶ）を決定する。処理回路は、上記複数のサブブロックのうちのサブブロックの動き情報を、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定し、上記複数のサブブロックのうちの該サブブロックの動き情報と、ＭＶオフセット情報によって示される現在ブロックのＭＶオフセットとに基づいて、上記複数のサブブロックのうちの該サブブロックの更新された動き情報を決定する。処理回路は、更新された動き情報に基づいて、上記複数のサブブロックのうちの該サブブロックを再構成する。

【0031】

一例において、ＭＶオフセット情報は、符号化ビデオビットストリーム内でシグナリングされるＭＶオフセットを含む。

【0032】

一例において、ＭＶオフセット情報は、ＭＶオフセットの大きさ及びＭＶオフセットの方向を示す少なくとも１つのインデックスを示す。

【0033】

一例において、少なくとも１つのインデックスは、一組の所定の距離のうちの１つであるＭＶオフセットの大きさを示す距離インデックスと、一組の所定の方向のうちの１つであるＭＶオフセットの方向を示す方向インデックスとを含む。

【0034】

一組の所定の距離及び一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される。

【0035】

一例において、上記複数のサブブロックのうちの上記サブブロックの動き情報は、第１の参照ピクチャリストＬ０からの第１の参照ピクチャに関連付けられた第１の動きベクトル（ＭＶ）を含む。処理回路は、第１のＭＶとＭＶオフセットとのベクトル和である更新された第１のＭＶを決定し、更新された動き情報は更新された第１のＭＶを含む。

【0036】

一例において、上記複数のサブブロックのうちの上記サブブロックの動き情報は、第２の参照ピクチャリストＬ１からの第２の参照ピクチャに関連付けられた第２のＭＶを含む。処理回路は、（ｉ）第２のＭＶとＭＶオフセットとのベクトル差、又は（ｉｉ）第２のＭＶとスケーリングされたＭＶオフセットとのベクトル和、のうちの一方である更新された第２のＭＶを決定する。スケーリングされたＭＶオフセットは、ＭＶオフセットと、現在ピクチャのピクチャオーダカウント（ＰＯＣ）と、第１の参照ピクチャのＰＯＣと、第２の参照ピクチャのＰＯＣとに基づく。

【0037】

本開示の態様はまた、映像復号用のコンピュータによって実行されるときに該コンピュータに映像復号のための方法を実行させる命令を格納した非一時的なコンピュータ読み取り可能媒体を提供する。

【図面の簡単な説明】

【0038】

開示に係る事項の更なる特徴、性質、及び様々な利点が、以下の詳細な説明及び添付の図面から、よりいっそう明らかになる。

【図1A】イントラ予測モードの例示的なサブセットを概略的に示している。

【図1B】例示的なイントラ予測方向を示している。

【図2】現在ブロック（２０１）及び周囲サンプルの一例を示している。

【図3】通信システム（３００）の例示的なブロック図を概略的に示している。

【図4】通信システム（４００）の例示的なブロック図を概略的に示している。

【図5】デコーダの例示的なブロック図を概略的に示している。

【図6】エンコーダの例示的なブロック図を概略的に示している。

【図7】例示的なエンコーダのブロック図を示している。

【図8】例示的なデコーダのブロック図を示している。

【図9】本発明の一実施形態に従った空間マージ候補の位置を示している。

【図10】本発明の一実施形態に従った空間マージ候補の冗長性検査のために検討される候補ペアを示している。

【図11】時間マージ候補に関する例示的な動きベクトルスケーリングを示している。

【図12】現在コーディングユニットの時間マージ候補の例示的な候補位置を示している。

【図13】図１３－図１４は、マージ動きベクトル差（ＭＭＶＤ）モードにおける探索プロセスの一例を示している。

【図14】図１３－図１４は、マージ動きベクトル差（ＭＭＶＤ）モードにおける探索プロセスの一例を示している。

【図15】ＭＭＶＤモードにおける複数の斜めの角度に沿った追加の精緻化位置を示している。

【図16】図１６－図１７は、ＳｂＴＭＶＰモードで使用される例示的なサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）プロセスを示している。

【図17】図１６－図１７は、ＳｂＴＭＶＰモードで使用される例示的なサブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）プロセスを示している。

【図18】本開示の一部の実施形態に従った符号化プロセスを概説するフローチャートを示している。

【図19A】本開示の一部の実施形態に従った復号プロセスを概説するフローチャートを示している。

【図19B】本開示の一部の実施形態に従った復号プロセスを概説するフローチャートを示している。

【図20】本開示の一部の実施形態に従った符号化プロセスを概説するフローチャートを示している。

【図21】本開示の一部の実施形態に従った復号プロセスを概説するフローチャートを示している。

【図22】一実施形態に従ったコンピュータシステムの概略図である。

【発明を実施するための形態】

【0039】

図３は、通信システム（３００）の例示的なブロック図を示している。通信システム（３００）は、例えばネットワーク（３５０）を介して、互いに通信することができる複数の端末装置を含む。例えば、通信システム（３００）は、ネットワーク（３５０）を介して相互接続された第１の対の端末装置（３１０）及び（３２０）を含む。図３の例において、第１の対の端末装置（３１０）及び（３２０）は、データの一方向伝送を行う。例えば、端末装置（３１０）が、ビデオデータ（例えば、端末装置（３１０）によってキャプチャされたビデオピクチャのストリーム）を、ネットワーク（３５０）を介した他の端末装置（３２０）への伝送のためにコーディングし得る。符号化されたビデオデータは、１つ以上の符号化ビデオビットストリームの形態で伝送されることができる。端末装置（３２０）が、ネットワーク（３５０）から符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオピクチャを復元し、復元したビデオデータに従ってビデオピクチャを表示し得る。一方向データ伝送は、メディアサービス提供アプリケーション及びそれに類するものにおいて一般的であり得る。

【0040】

他の一例において、通信システム（３００）は、例えばテレビ会議中に、符号化ビデオデータの双方向伝送を行う第２の対の端末装置（３３０）及び（３４０）を含む。データの双方向伝送では、一例において、端末装置（３３０）及び（３４０）の各端末装置が、ビデオデータ（例えば、その端末装置によってキャプチャされたビデオピクチャのストリーム）を、ネットワーク（３５０）を介した端末装置（３３０）及び（３４０）のうちの他方の端末装置への伝送のためにコーディングし得る。端末装置（３３０）及び（３４０）の各端末装置はまた、端末装置（３３０）及び（３４０）のうちの他方の端末装置によって送信された符号化ビデオデータを受信し得るとともに、符号化ビデオデータを復号してビデオピクチャを復元し、そして、復元したビデオデータに従って、アクセス可能なディスプレイ装置にビデオピクチャを表示し得る。

【0041】

図３の例において、端末装置（３１０）、（３２０）、（３３０）及び（３４０）は、それぞれ、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されているが、本開示の原理は、そのように限定されるものではないとし得る。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、及び／又は専用のテレビ会議機器での用途を見出し。ネットワーク（３５０）は、例えば、配線（有線）通信ネットワーク及び／又は無線通信ネットワークを含め、端末装置（３１０）、（３２０）、（３３０）及び（３４０）間で符号化されたビデオデータを伝達するあらゆる数のネットワークを表す。通信ネットワーク（３５０）は、回線交換チャネル及び／又はパケット交換チャネルにてデータを交換し得る。代表的なネットワークは、遠距離通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットを含む。本説明の目的上、ネットワーク（３５０）のアーキテクチャ及びトポロジーは、以下にて説明しない限り、本開示の動作にとって重要ではないとし得る。

【0042】

図４は、開示に係る事項に関するアプリケーションの一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示している。開示に係る事項は、例えば、テレビ会議や、デジタルＴＶや、ストリーミングサービスや、ＣＤ、ＤＶＤ、メモリスティック及びこれらに類するものを含むデジタル媒体上での圧縮ビデオの格納などを含め、映像を使用可能な他の用途にも等しく適用されることができる。

【0043】

ストリーミングシステムは、例えば圧縮されていないビデオピクチャのストリーム（４０２）を作り出す例えばデジタルカメラといったビデオソース（４０１）を含み得るものであるキャプチャサブシステム（４１３）を含み得る。一例において、ビデオピクチャのストリーム（４０２）は、デジタルカメラによって撮影されるサンプルを含む。ビデオピクチャのストリーム（４０２）は、符号化されたビデオデータ（４０４）（又は符号化ビデオビットストリーム）と比較して高いデータボリュームであることを強調するために太線として描かれており、ビデオソース（４０１）に結合されたビデオエンコーダ（４０３）を含んだエレクトロニクス装置（４２０）によって処理され得る。ビデオエンコーダ（４０３）は、更に詳細に後述される開示に係る事項の態様を使用可能にする又は実装するための、ハードウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。符号化されたビデオデータ（４０４）（又は符号化ビデオビットストリーム）は、ビデオピクチャのストリーム（４０２）と比較して低いデータボリュームであることを強調するために細線として描かれており、後の使用のためにストリーミングサーバ（４０５）に格納されることができる。例えば図４のクライアントサブシステム（４０６）及び（４０８）などの１つ以上のストリーミングクライアントサブシステムが、符号化されたビデオデータ（４０４）のコピー（４０７）及び（４０９）を取り出すためにストリーミングサーバ（４０５）にアクセスすることができる。クライアントサブシステム（４０６）は、例えばエレクトロニクス装置（４３０）内の、ビデオデコーダ（４１０）を含むことができる。ビデオデコーダ（４１０）は、入ってくる符号化されたビデオデータのコピー（４０７）を復号し、出ていくビデオピクチャのストリーム（４１１）を作り出すことができ、出ていくビデオピクチャのストリーム（４１１）が、ディスプレイ（４１２）（例えば、ディスプレイスクリーン）又は他のレンダリング装置（図示せず）上でレンダリングされ得る。一部のストリーミングシステムにおいて、符号化されたビデオデータ（４０４）、（４０７）、及び（４０９）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮標準に従って符号化されることができる。それら標準の例は、ＩＴＵ－Ｔ勧告Ｈ．２６５を含む。一例において、開発中のあるビデオコーディング標準は、非公式にバーサタイルビデオコーディング（Versatile Video Coding；ＶＶＣ）として知られている。開示に係る事項は、ＶＶＣの文脈で使用され得る。

【0044】

なお、エレクトロニクス装置（４２０）及び（４３０）は、他のコンポーネント（図示せず）を含むことができる。例えば、エレクトロニクス装置（４２０）はビデオデコーダ（図示せず）を含むことができ、エレクトロニクス装置（４３０）はビデオエンコーダ（図示せず）も含むことができる。

【0045】

図５は、ビデオデコーダ（５１０）の例示的なブロック図を示している。ビデオデコーダ（５１０）は、エレクトロニクス装置（５３０）に含まれ得る。エレクトロニクス装置（５３０）は、受信器（５３１）（例えば、受信回路）を含むことができる。ビデオデコーダ（５１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用されることができる。

【0046】

受信器（５３１）が、ビデオデコーダ（５１０）によって復号されることになる１つ以上の符号化ビデオシーケンスを受信することができる。一実施形態において、一度に１つの符号化ビデオシーケンスが受信され、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスの復号とは独立である。符号化ビデオシーケンスは、符号化されたビデオデータを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得るものであるチャネル（５０１）から受信され得る。受信器（５３１）は、符号化ビデオデータを、例えば符号化された音声データ及び／又は補助データストリームといった他のデータと共に受信してもよく、それらのデータは、それらそれぞれの使用エンティティ（図示せず）に転送され得る。受信器（５３１）は、符号化ビデオシーケンスを他のデータから分離し得る。ネットワークジッタに対抗するために、受信器（５３１）とエントロピーデコーダ／パーサ５２０（以下、“パーサ（５２０）”）との間にバッファメモリ（５１５）が結合され得る。特定のアプリケーションにおいて、バッファメモリ（５１５）はビデオデコーダ（５１０）の一部である。他のものにおいて、それは、ビデオデコーダ（５１０）の外部にあってもよい（図示せず）。更なる他のものにおいて、例えばネットワークジッタに対抗するために、ビデオデコーダ（５１０）の外部にバッファメモリ（図示せず）が存在することができ、さらに、例えば再生タイミングを取り扱うために、ビデオデコーダ（５１０）の内部に別のバッファメモリ（５１５）が存在することができる。受信器（５３１）が、十分な帯域幅及び可制御性の格納／転送装置から又は等同期ネットワークからデータを受信しているとき、バッファメモリ（５１５）は、必要とされなくてもよく、又は小さくされることができる。例えばインターネットなどのベストエフォート型パケットネットワーク上での使用では、バッファメモリ（５１５）が、必要とされ得るとともに、比較的大きくされ、そして、有利には適応可能なサイズのものにされることができ、また、少なくとも部分的に、ビデオデコーダ（５１０）の外部のオペレーティングシステム又は同様の要素（図示せず）にて実装され得る。

【0047】

ビデオデコーダ（５１０）は、符号化ビデオシーケンスからシンボル（５２１）を再構成するためのパーサ（５２０）を含み得る。それらシンボルのカテゴリは、ビデオデコーダ（５１０）の動作を管理するために使用される情報を含むとともに、可能性として、図５に示すように、エレクトロニクス装置（５３０）の統合部分ではないがエレクトロニクス装置（５３０）に結合されることが可能な、例えばレンダー装置（５１２）（例えば、ディスプレイスクリーン）などのレンダリング装置を制御する情報を含み得る。（１つ以上の）レンダリング装置用の制御情報は、補足強化情報（Supplementary Enhancement Information；ＳＥＩ）メッセージ又はビデオユーザビリティ情報（Video Usability Information；ＶＵＩ）パラメータセットフラグメント（図示せず）の形態とし得る。パーサ（５２０）は、受け取った符号化ビデオシーケンスを構文解析／エントロピー復号し得る。符号化ビデオシーケンスの符号化は、ビデオコーディング技術又は標準によることができ、可変長符号化、ハフマン符号化、文脈依存性を持つ又は持たない算術符号化などを含め、様々な原理に従うことができる。パーサ（５２０）は、符号化ビデオシーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つに関する一組のサブグループパラメータを抽出することができる。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。パーサ（５２０）はまた、符号化ビデオシーケンス情報から、例えば変換係数、量子化パラメータ値、動きベクトルなどの情報を抽出し得る。

【0048】

パーサ（５２０）は、シンボル（５２１）を生み出すよう、バッファメモリ（５１５）から受け取ったビデオシーケンスにエントロピー復号／構文解析処理を実行し得る。

【0049】

シンボル（５２１）の再構成には、符号化されたビデオピクチャ又はその部分のタイプ及び他の要因（例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロックなど）に応じて、複数の異なるユニットが関与し得る。どのユニットが関与するか、及びそれらがどのように関与するかは、パーサ（５２０）によって符号化ビデオシーケンスから構文解析されたサブグループ制御情報によって制御されることができる。パーサ（５２０）と以下の複数ユニットとの間でのこのようなサブグループ制御情報の流れは、明瞭さのために図示していない。

【0050】

既述の機能ブロックを超えて、ビデオデコーダ（５１０）は概念的に、後述のような多数の機能ユニットに細分化されることができる。商業上の制約の下で稼働する実用的な実装において、これらのユニットのうちの多くが互いに密接にインタラクトし、少なくとも部分的に互いに統合され得る。しかしながら、開示に係る事項を説明するという目的のためには、以下の機能ユニットへの概念的な細分化が適切である。

【0051】

第１のユニットは、スケーラ／逆変換ユニット（５５１）である。スケーラ／逆変換ユニット（５５１）は、パーサ（５２０）からの（１つ以上の）シンボル（５２１）として、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報とともに、量子化された変換係数を受け取る。スケーラ／逆変換ユニット（５５１）は、アグリゲータ（５５５）に入力されることが可能な、サンプル値を有するブロックを出力することができる。

【0052】

一部のケースにおいて、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングされたブロックに関係し得る。イントラコーディングされたブロックは、先行して再構成されたピクチャからの予測情報を使用していないが、現在ピクチャのうち先行して再構成された部分からの予測情報を使用することができるブロックである。このような予測情報は、イントラピクチャ予測ユニット（５５２）によって提供されることができる。一部のケースにおいて、イントラピクチャ予測ユニット（５５２）は、現在ピクチャバッファ（５５８）からフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成する。現在ピクチャバッファ（５５８）は、例えば、部分的に再構成された現在ピクチャ及び／又は完全に再構成された現在ピクチャをバッファリングする。アグリゲータ（５５５）は、一部のケースにおいて、サンプル毎に、イントラ予測ユニット（５５２）が生成した予測情報を、スケーラ／逆変換ユニット（５５１）によって提供される出力サンプル情報に付加する。

【0053】

他のケースにおいて、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、動き補償された可能性のあるブロックに関係し得る。このような場合、動き補償予測ユニット（５５３）が、参照ピクチャメモリ（５５７）にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルを、ブロックに関係するシンボル（５２１）に従って動き補償した後、これらのサンプルが、アグリゲータ（５５５）によって、スケーラ／逆変換ユニット（５５１）の出力（この場合、残差サンプル又は残差信号と呼ばれる）に付加されて、出力サンプル情報を生成することができる。そこから動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、動きベクトルによって制御されることができ、例えばＸ、Ｙ、及び参照ピクチャ成分を有し得るシンボル（５２１）の形態で動き補償予測ユニット（５５３）に利用可能である。動き補償はまた、サブサンプルの正確な動きベクトルが使用されるときに参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなどを含むことができる。

【0054】

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）にて様々なループフィルタリング技術に掛けられ得る。映像圧縮技術は、インループ（in-loop）フィルタ技術を含むことができ、これは、符号化ビデオシーケンス（符号化ビデオビットストリームとも称する）に含められてパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされるパラメータによって制御される。映像圧縮はまた、符号化ピクチャ又は符号化ビデオシーケンスのうちの（復号順で）先行部分の復号中に得られたメタ情報にも応答することができるとともに、先行して再構成されてループフィルタリングされたサンプル値にも応答することができる。

【0055】

ループフィルタユニット（５５６）の出力は、レンダー装置（５１２）に出力されることが可能なサンプルストリームとすることができ、これはまた、将来のインターピクチャ予測での使用のために参照ピクチャメモリ（５５７）に格納されることができる。

【0056】

ある特定の符号化ピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、その符号化ピクチャが参照ピクチャとして（例えば、パーサ（５２０）によって）特定されると、現在ピクチャバッファ（５５８）が参照ピクチャメモリ（５５７）の一部となり得るとともに、次の符号化ピクチャの再構成を開始する前に新しい現在ピクチャバッファが再割り当てされ得る。

【0057】

ビデオデコーダ（５１０）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定の映像圧縮技術又は標準に従って復号処理を実行し得る。符号化ビデオシーケンスは、映像圧縮技術又は標準の構文と映像圧縮技術又は標準において文書化されたプロファイルとの双方を忠実に守るという意味で、使用される映像圧縮技術又は標準によって規定される構文に従い得る。具体的には、プロファイルは、映像圧縮技術又は標準において利用可能な全てのツールから、特定のツールを、そのプロファイルの下での使用に利用可能なツールはそれだけであるように選択することができる。また、コンプライアンスのために、符号化ビデオシーケンスの複雑さが、映像圧縮技術又は標準のレベルによって規定される範囲内にあることも必要である。場合により、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、毎秒メガサンプルで測定される）、最大参照ピクチャサイズなどを制約する。レベルによって設定される制限は、場合により、仮説的リファレンスデコーダ（Hypothetical Reference Decoder；ＨＲＤ）仕様、及び符号化ビデオシーケンスにてシグナリングされるＨＲＤバッファ管理用のメタデータを通して更に制約され得る。

【0058】

一実施形態において、受信器（５３１）は、符号化された映像と共に追加（冗長）データを受信し得る。追加データは、（１つ以上の）符号化ビデオシーケンスの一部として含められ得る。追加データは、データを適切に復号するため、及び／又は元のビデオデータをいっそう正確に再構成するために、ビデオデコーダ（５１０）によって使用され得る。追加データは、例えば、時間的、空間的、又は信号対雑音比（ＳＮＲ）エンハンスメントレイヤ、冗長スライス、冗長ピクチャ、順方向誤り訂正符号などの形態とし得る。

【0059】

図６は、ビデオエンコーダ（６０３）の例示的なブロック図を示している。ビデオエンコーダ（６０３）は、エレクトロニクス装置（６２０）に含まれる。例えば、エレクトロニクス装置（６２０）は送信器（６４０）（例えば、送信回路）を含んでいる。ビデオエンコーダ（６０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用されることができる。

【0060】

ビデオエンコーダ（６０３）は、エンコーダ（６０３）によって符号化されることになる（１つ以上の）ビデオ画像をキャプチャし得るビデオソース（６０１）（図６の例ではエレクトロニクス装置（６２０）の一部ではない）からビデオサンプルを受信し得る。他の一例において、ビデオソース（６０１）は、エレクトロニクス装置（６２０）の一部である。

【0061】

ビデオソース（６０１）は、ビデオエンコーダ（６０３）によって符号化されるソースビデオシーケンスを、任意の好適なビット深さ（例えば、８ビット、１０ビット、１２ビット、…）、任意の色空間（例えば、ＢＴ．６０１ＹＣｒＣＢ、ＲＧＢ、…）、及び任意の好適なサンプリング構造（例えば、ＹＣｒＣｂ４：２：０、ＹＣｒＣｂ４：４：４）のものとし得るデジタルビデオサンプルストリームの形態で提供し得る。メディアサービス提供システムにおいて、ビデオソース（６０１）は、事前に準備されたビデオを格納したストレージ装置とし得る。テレビ会議システムでは、ビデオソース（６０１）は、ローカルな画像情報をビデオシーケンスとしてキャプチャするカメラとし得る。ビデオデータは、順に見たときに動きを伝える複数の個々のピクチャとして提供され得る。それらピクチャ自体は、ピクセルの空間アレイとして編成されることができ、各ピクセルが、使用されるサンプリング構造、色空間などに応じて、１つ以上のサンプルを有することができる。当業者は、ピクセルとサンプルとの関係を直ちに理解することができる。以下の説明は、サンプルに焦点を当てている。

【0062】

一実施形態によれば、ビデオエンコーダ（６０３）は、ソースビデオシーケンスのピクチャを、リアルタイムで又は要求される他の時間制約下で、符号化ビデオシーケンス（６４３）へとコーディング及び圧縮し得る。適切なコーディング速度を強制することが、コントローラ（６５０）の１つの機能である。一部の実施形態において、コントローラ（６５０）は、後述するような他の機能ユニットを制御するとともに、それら他の機能ユニットに機能的に結合される。その結合は、明瞭さのために図示されていない。コントローラ（６５０）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲などを含み得る。コントローラ（６５０）は、特定のシステム設計に合わせて最適化されるビデオエンコーダ（６０３）に関連する他の好適な機能を有するように構成されることができる。

【0063】

一部の実施形態において、ビデオエンコーダ（６０３）は、コーディングループにて動作するように構成される。過度に単純化した説明として、一例において、コーディングループは、ソースコーダ（６３０）（例えば、符号化される入力ピクチャ及び（１つ以上の）参照ピクチャに基づいて例えばシンボルストリームなどのシンボルを作成することを担う）と、ビデオエンコーダ（６０３）に埋め込まれた（ローカル）デコーダ（６３３）とを含むことができる。デコーダ（６３３）は、（リモート）デコーダも作成するのと同様にして、シンボルを再構成してサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）が、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号は、デコーダ位置（ローカル又はリモート）に依存しないビット正確な結果をもたらすので、参照ピクチャメモリ（６３４）内のコンテンツもローカルエンコーダとリモートエンコーダとの間でビット正確である。換言すれば、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに“見る”のとまったく同じサンプル値を参照ピクチャサンプルとして“見る”。この参照ピクチャ同期性の基本原理（及び、例えばチャネルエラーのために、同期性を維持することができない場合に結果として生じるドリフト）は、一部の関連技術でも使用されている。

【0064】

“ローカル”デコーダ（６３３）の動作は、例えばビデオデコーダ（５１０）などの“リモート”デコーダのものと同じであるとすることができ、それは、図５に関連して既に詳細に上述されている。しかしながら、図５も手短に参照するに、シンボルが利用可能であり、且つエントロピーコーダ（６４５）及びパーサ（５２０）によるシンボルの符号化ビデオシーケンスへの符号化／復号は可逆であるとし得るので、バッファメモリ（５１５）及びパーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）に完全に実装されなくてよい。

【0065】

一実施形態において、デコーダ内に存在する構文解析／エントロピー復号を除くデコーダ技術が、対応するエンコーダ内に、同じ又は実質的に同じ機能的形態で存在する。従って、開示に係る事項はデコーダ動作に焦点を当てている。エンコーダ技術の説明は、徹底して説明したデコーダ技術の逆であるので、省略することができる。ある特定の分野では、より詳細な説明を以下に提供する。

【0066】

動作時、一部の例において、ソースコーダ（６３０）は、入力ピクチャを、ビデオシーケンスからの、“参照ピクチャ”として指定された１つ以上の先にコーディングされたピクチャに対して予測的にコーディングするものである動き補償予測コーディングを実行し得る。斯くして、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する（１つ以上の）予測基準として選択され得る（１つ以上の）参照ピクチャのピクセルブロックとの間の差分をコーディングする。

【0067】

ローカルビデオデコーダ（６３３）は、参照ピクチャとして指定され得るピクチャの符号化ビデオデータを、ソースコーダ（６３０）によって作成されたシンボルに基づいて復号し得る。コーディングエンジン（６３２）の動作は、有利には、非可逆プロセスとし得る。符号化ビデオデータがビデオデコーダ（図６には示されていない）で復号され得るとき、再構成されたビデオシーケンスは典型的に、幾分の誤差を伴うソースビデオシーケンスのレプリカであり得る。ローカルビデオデコーダ（６３３）は、参照ピクチャ上でビデオデコーダによって実行され得る復号プロセスを複製し、再構成された参照ピクチャを参照ピクチャメモリ（６３４）に格納させるようにし得る。斯くして、ビデオエンコーダ（６０３）は、ファーエンドのビデオデコーダによって得られることになる再構成参照ピクチャと共通のコンテンツを持つ再構成参照ピクチャのコピーをローカルに格納し得る。

【0068】

予測器（６３５）は、コーディングエンジン（６３２）のために予測探索を実行し得る。すなわち、コーディングすべき新たなピクチャに関して、予測器（６３６）は、新たなピクチャ用の適切な予測基準としての役割を果たし得るサンプルデータ（候補参照ピクセルブロックとして）又は例えば参照ピクチャ動きベクトルやブロック形状などの特定のメタデータについて、参照ピクチャメモリ（６３４）を検索し得る。予測器（６３５）は、適切な予測基準を見出すために、ピクセルブロック毎に動作し得る。場合により、予測器（６３５）によって得られた検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測基準を有し得る。

【0069】

コントローラ（６５０）は、例えば、ビデオデータを符号化するのに使用されるパラメータ及びサブグループパラメータの設定を含め、ソースコーダ（６３０）のコーディング処理を管理し得る。

【0070】

前述の全ての機能ユニットの出力が、エントロピーコーダ（６４５）におけるエントロピーコーディングに掛けられ得る。エントロピーコーダ（６４５）は、例えばハフマンコーディング、可変長コーディング、算術符コーディングなどの技術に従ってシンボルに可逆圧縮を適用することによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスへと変換する。

【0071】

送信器（６４０）が、エントロピーコーダ（６４５）によって生成された（１つ以上の）符号化ビデオシーケンスをバッファリングし、通信チャネル（６６０）を介した伝送のために準備し得る。通信チャネル（６６０）は、符号化されたビデオデータを格納するストレージ装置へのハードウェア／ソフトウェアリンクとし得る。送信器（６４０）は、ビデオエンコーダ（６０３）からの符号化ビデオデータを、例えば符号化オーディオデータ及び／又は補助データストリーム（ソースは図示していない）といった、送信される他のデータとマージし得る。

【0072】

コントローラ（６５０）は、ビデオエンコーダ（６０３）の動作を管理し得る。コーディングにおいて、コントローラ（６５０）は、各符号化ピクチャに、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼし得るものである特定の符号化ピクチャタイプを割り当て得る。例えば、ピクチャはしばしば、以下のピクチャタイプのうちの１つを割り当てられ得る。

【0073】

イントラピクチャ（Ｉピクチャ）は、シーケンス内の如何なる他のピクチャも予測のソースとして使用することなく符号化及び復号され得るものとし得る。一部のビデオコーデックは、例えば独立デコーダリフレッシュ（Independent Decoder Refresh；ＩＤＲ）ピクチャを含め、複数の異なるタイプのイントラピクチャを許している。当業者は、Ｉピクチャのそれら異形、並びにそれらそれぞれの用途及び特徴を知っている。

【0074】

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、多くて１つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。

【0075】

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、多くて２つの動きベクトルと参照インデックスとを使用して、イントラ予測又はインター予測を用いて符号化及び復号され得るものとし得る。同様に、多重予測ピクチャは、単一のブロックの再構成のために３つ以上の参照ピクチャと関連メタデータとを使用することができる。

【0076】

ソースピクチャは、一般に、空間的に複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６サンプルのブロック）に細分化され、ブロック毎にコーディングされ得る。ブロックは、それらブロックのそれぞれのピクチャに適用されるコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは非予測的にコーディングされることができ、あるいは、それらは同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされることができる（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの先にコーディングされた参照ピクチャを参照して空間予測又は時間予測を介して、コーディングされることができる。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの先にコーディングされた参照ピクチャを参照して空間予測又は時間予測を介して、コーディングされることができる。

【0077】

ビデオエンコーダ（６０３）は、例えばＩＴＵ－Ｔ勧告Ｈ．２６５などの所定のビデオコーディング技術又は標準に従ってコーディング処理を実行し得る。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスにおける時間的及び空間的な冗長性を活用する予測的なコーディング処理を含め、様々な圧縮処理を実行し得る。コーディングされたビデオデータは、それ故に、使用されているビデオコーディング技術又は標準によって規定される構文に従い得る。

【0078】

一実施形態において、送信器（６４０）は、符号化された映像と共に追加データを送信し得る。ソースコーダ（６３０）が、そのようなデータを、符号化ビデオシーケンスの一部として含め得る。追加データは、時間的／空間的／ＳＮＲエンハンスメントレイヤ、例えば冗長ピクチャ及びスライスなどの他の形態の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメントなどを有し得る。

【0079】

映像は、時間シーケンスにて複数のソースピクチャ（ビデオピクチャ）としてキャプチャされ得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャ内の空間的な相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例において、現在ピクチャと称される符号化／復号中の特定のピクチャが、複数のブロックへと分割される。現在ピクチャ内のあるブロックが、映像内の先にコーディングされ且つ依然としてバッファリングされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のそのブロックは、動きベクトルと称されるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを特定する第３の次元を持つことができる。

【0080】

一部の実施形態において、インターピクチャ予測において双予測技術を使用することができる。双予測技術によれば、例えば、映像内でどちらも現在ピクチャに対して復号順で先である（しかし、表示順では、それぞれ過去及び将来であってもよい）第１の参照ピクチャ及び第２の参照ピクチャなどの、２つの参照ピクチャが使用される。現在ピクチャ内のブロックを、第１の参照ピクチャ内の第１の参照ブロックを指す第１の動きベクトルと、第２の参照ピクチャ内の第２の参照ブロックを指す第２の動きベクトルとによってコーディングすることができる。そのブロックは、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測されることができる。

【0081】

さらに、インターピクチャ予測においてコーディング効率を改善するために、マージモード技術を使用することができる。

【0082】

本開示の一部の実施形態によれば、例えばインターピクチャ予測及びイントラピクチャ予測などの予測が、ブロックの単位で実行される。例えば、ＨＥＶＣ標準によれば、ビデオピクチャのシーケンス内のピクチャが、圧縮のために複数のコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ内のそれらＣＴＵは、例えば６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルなどの同一サイズを有する。一般に、ＣＴＵは、１つのルマ（luma）ＣＴＢと２つのクロマ（chroma）ＣＴＢである３つのコーディングツリーブロック（ＣＴＢ）を含む。各ＣＴＵが、１つ又は複数のコーディングユニット（ＣＵ）へと再帰的に四分木分割され得る。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１つのＣＵ、又は３２×３２ピクセルの４つのＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割されることができる。一例において、各ＣＵが、例えばインター予測タイプ又はイントラ予測タイプなど、そのＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的な予測可能性に依存して１つ以上の予測ユニット（ＰＵ）に分割される。一般に、各ＰＵは、ルマ予測ブロック（ＰＢ）と２つのクロマＰＢとを含む。一実施形態において、コーディング（符号化／復号）に際しての予測動作は、予測ブロックの単位で実行される。予測ブロックの一例としてルマ予測ブロックを用いると、該予測ブロックは、例えば８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、及びこれらに類するものなど、ピクセルの値（例えば、ルマ値）の行列を含む。

【0083】

図７は、ビデオエンコーダ（７０３）の例示的な図を示している。ビデオエンコーダ（７０３）は、ビデオピクチャのシーケンス内の現在ビデオピクチャの中の処理ブロック（例えば、予測ブロック）のサンプル値を受信し、該処理ブロックを符号化ビデオシーケンスの一部である符号化ピクチャへと符号化するように構成される。一例において、ビデオエンコーダ（７０３）は、図４の例におけるビデオエンコーダ（４０３）の代わりに使用される。

【0084】

ＨＥＶＣの例において、ビデオエンコーダ（７０３）は、例えば予測ブロックの８×８サンプルなどの、処理ブロックに関するサンプル値の行列を受信する。ビデオエンコーダ（７０３）は、例えばレート－歪み最適化を用いて、処理ブロックが最良にコーディングされるのが、イントラモードを用いてなのか、インターモードを用いてなのか、それとも双予測モードを用いてなのかを決定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ（７０３）は、イントラ予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができ、処理ブロックがインターモード又は双予測モードでコーディングされる場合、ビデオエンコーダ（７０３）は、それぞれ、インター予測技術又は双予測技術を使用して処理ブロックを符号化ピクチャへと符号化することができる。特定のビデオコーディング技術において、マージモードは、予測子の外側の符号化動きベクトル成分の利益なしで１つ以上の動きベクトル予測子から動きベクトルが導出されるインターピクチャ予測サブモードとし得る。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在してもよい。一例において、ビデオエンコーダ（７０３）は、例えば処理ブロックのモードを決定するためのモード決定モジュール（図示せず）などの、他のコンポーネントを含む。

【0085】

図７の例において、ビデオエンコーダ（７０３）は、図７に示すように共に結合された、インターエンコーダ（７３０）、イントラエンコーダ（７２２）、残差計算器（７２３）、スイッチ（７２６）、残差エンコーダ（７２４）、全般コントローラ（７２１）、及びエントロピーエンコーダ（７２５）を含んでいる。

【0086】

インターエンコーダ（７３０）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、先行ピクチャ内及び後のピクチャ内のブロック）と比較し、インター予測情報（例えば、インター符号化技術に従った冗長情報の記述、動きベクトル、マージモード情報）を生成し、そして、何らかの好適技術を使用して、インター予測情報に基づいてインター予測結果（例えば、予測ブロック）を計算するように構成される。一部の例において、参照ピクチャは、符号化された映像情報に基づいて復号された参照ピクチャである。

【0087】

イントラエンコーダ（７２２）は、現在ブロック（例えば、処理ブロック）のサンプルを受信し、一部のケースにおいて、ブロックを、同じピクチャ内の既にコーディングされたブロックと比較し、変換後の量子化係数を生成し、一部のケースでは、イントラ予測情報（例えば、１つ以上のイントラ符号化技術に従ったイントラ予測方向情報）も生成する。一例において、イントラエンコーダ（７２２）はまた、イントラ予測情報及び同じピクチャ内の参照ブロックに基づいて、イントラ予測結果（例えば、予測ブロック）を計算する。

【0088】

全般コントローラ（７２１）は、全般制御データを決定し、全般制御データに基づいてビデオエンコーダ（７０３）の他のコンポーネントを制御するように構成される。一例において、全般コントローラ（７２１）は、ブロックのモードを決定し、そのモードに基づいてスイッチ（７２６）に制御信号を提供する。例えば、モードがイントラモードであるとき、全般コントローラ（７２１）は、残差計算器（７２３）による使用のためにイントラモード結果を選択するようにスイッチ（７２６）を制御するとともに、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御し、モードがインターモードであるときには、全般コントローラ（７２１）は、残差計算器（７２３）による使用のためにインター予測結果を選択するようにスイッチ（７２６）を制御するとともに、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ（７２５）を制御する。

【0089】

残差計算器（７２３）は、受信されたブロックと、イントラエンコーダ（７２２）又はインターエンコーダ（７３０）から選択された予測結果との間の差（残差データ）を計算するように構成される。残差エンコーダ（７２４）は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例において、残差エンコーダ（７２４）は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数が量子化処理にかけられて、量子化された変換係数が得られる。様々な実施形態において、ビデオエンコーダ（７０３）はまた、残差デコーダ（７２８）を含む。残差デコーダ（７２８）は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ（７２２）及びインターエンコーダ（７３０）によって好適に使用されることができる。例えば、インターエンコーダ（７３０）は、復号された残差データ及びインター予測情報に基づいて、復号されたブロックを生成することができ、イントラエンコーダ（７２２）は、復号された残差データ及びイントラ予測情報に基づいて、復号されたブロックを生成することができる。復号されたブロックが好適に処理されて、復号されたピクチャが生成され、そして、復号されたピクチャは、メモリ回路（図示せず）にバッファリングされ得るとともに、一部の例では参照ピクチャとして使用され得る。

【0090】

エントロピーエンコーダ（７２５）は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ（７２５）は、例えばＨＥＶＣ標準などの好適な標準に従って種々の情報をビットストリームに含めるように構成される。一例において、エントロピーエンコーダ（７２５）は、全般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の好適情報を、ビットストリームに含めるように構成される。なお、本開示に係る事項によれば、インターモード又は双予測モードのいずれかのマージサブモードにてブロックをコーディングするとき、残差情報は存在しない。

【0091】

図８は、ビデオデコーダ（８１０）の例示的な図を示している。ビデオデコーダ（８１０）は、符号化ビデオシーケンスの一部である符号化されたピクチャを受信し、該符号化されたピクチャを復号して再構成ピクチャを生成するように構成される。一例において、ビデオデコーダ（８１０）は、図４の例におけるビデオデコーダ（４１０）の代わりに使用される。

【0092】

図８の例において、ビデオデコーダ（８１０）は、図８に示すように共に結合された、エントロピーデコーダ（８７１）、インターデコーダ（８８０）、残差デコーダ（８７３）、再構成モジュール（８７４）、及びイントラデコーダ（８７２）を含んでいる。

【0093】

エントロピーデコーダ（８７１）は、符号化されたピクチャから、符号化されたピクチャを構成するシンタックス要素を表す特定のシンボルを再構成するように構成され得る。そのようなシンボルは、例えば、ブロックがコーディングされるモード（例えば、イントラモード、インターモード、双予測モード、マージサブモード又は他のサブモードにおける後者の２つなど）、並びに、それぞれイントラデコーダ（８７２）又はインターデコーダ（８８０）による予測のために使用される特定のサンプル又はメタデータを特定することができる予測情報（例えば、イントラ予測情報又はインター予測情報など）を含むことができる。シンボルはまた、例えば量子化された変換係数の形態をした残差情報、及びこれらに類するものを含むことができる。一例において、予測モードがインターモード又は双予測モードであるときには、インター予測情報がインターデコーダ（８８０）に提供され、予測タイプがイントラ予測タイプであるときには、イントラ予測情報がイントラデコーダ（８７２）に提供される。残差情報は、逆量子化にかけられることができ、残差デコーダ（８７３）に提供される。

【0094】

インターデコーダ（８８０）は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。

【0095】

イントラデコーダ（８７２）は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。

【0096】

残差デコーダ（８７３）は、逆量子化を実行して、量子化解除された変換係数を抽出し、そして、量子化解除された変換係数を処理して、残差情報を周波数ドメインから空間ドメインに変換するように構成される。残差デコーダ（８７３）はまた、特定の制御情報（量子化器パラメータ（ＱＰ）を含む）を必要としてもよく、その情報は、エントロピーデコーダ（８７１）によって提供され得る（これは、低ボリュームの制御情報のみとし得るのでデータ経路は不図示）。

【0097】

再構成モジュール（８７４）は、残差デコーダ（８７３）によって出力される残差情報と、（場合に応じてインター又はイントラ予測モジュールによって出力される）予測結果とを空間ドメインで組み合わせて、再構成ブロックを形成するように構成される。再構成ブロックは、再構成ピクチャの一部とすることができ、代わって再構成ピクチャは、再構成映像の一部とすることができる。なお、視覚的な品質を向上させるために、例えばデブロッキング処理及びそれに類するものなど、他の好適な処理を実行することができる。

【0098】

なお、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、如何なる好適技術を用いて実装されてもよい。一実施形態において、ビデオエンコーダ（４０３）、（６０３）、及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、１つ以上の集積回路を用いて実装され得る。他の一実施形態において、ビデオエンコーダ（４０３）、（６０３）及び（７０３）、並びにビデオデコーダ（４１０）、（５１０）、及び（８１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装され得る。

【0099】

ＶＶＣでは、様々なインター予測モードを用いることができる。インター予測されるＣＵについて、動きパラメータは、（１つ以上の）ＭＶと、１つ以上の参照ピクチャインデックスと、参照ピクチャリスト使用インデックスと、インター予測によるサンプル生成のために使用される特定のコーディングフィーチャについての追加情報とを含むことができる。動きパラメータは明示的又は暗示的にシグナリングされ得る。ＣＵがスキップモードでコーディングされるとき、ＣＵは、ＰＵに関連付けられることができ、有意な残差係数、コーディングされた動きベクトルデルタ若しくはＭＶ差（例えば、ＭＶＤ）又は参照ピクチャインデックスを持たなくてよい。マージモードを指定することができ、現在ＣＵについての動きパラメータは、空間候補及び／又は時間候補を含む（１つ以上の）隣接ＣＵ、及びオプションで、例えばＶＶＣで導入されるような追加情報から得られる。マージモードは、スキップモードだけでなく、インター予測されるＣＵにも適用されることができる。一例において、マージモードに代わるものは、動きパラメータの明示的な送信であり、（１つ以上の）ＭＶと、各参照ピクチャリストについての対応する参照ピクチャインデックスと、参照ピクチャリスト使用フラグと、他の情報とが、ＣＵごとに明示的にシグナリングされる。

【0100】

例えばＶＶＣにおいてなどの一実施形態において、ＶＶＣテストモデル（ＶＴＭ）参照ソフトウェアは、拡張マージ予測、マージ動きベクトル差（merge motion vector difference；ＭＭＶＤ）モード、対称ＭＶＤシグナリングを用いる適応動きベクトル予測（adaptive motion vector prediction；ＡＭＶＰ）モード、アフィン動き補償予測、サブブロックベース時間動きベクトル予測（subblock-based temporal motion vector prediction；ＳｂＴＭＶＰ）、適応動きベクトル解像度（adaptive motion vector resolution；ＡＭＶＲ）、動きフィールドストレージ（１／１６ルマサンプルＭＶストレージ及び８×８動きフィールド圧縮）、ＣＵレベル重み付きの双予測（bi-prediction with CU-level weights；ＢＣＷ）、双方向オプティカルフロー（bi-directional optical flow；ＢＤＯＦ）、オプティカルフローを用いる予測精緻化（prediction refinement using optical flow；ＰＲＯＦ）、デコーダ側動きベクトル精緻化（decoder side motion vector refinement；ＤＭＶＲ）、結合インター・イントラ予測（combined inter and intra prediction；ＣＩＩＰ）、幾何学的パーティショニングモード（geometric partitioning mode；ＧＰＭ）、及びこれらに類するものを含め、１つ以上のリファインされたインター予測コーディングツールを含む。インター予測及び関連する方法について、以下にて詳細に説明する。

【0101】

拡張マージ予測は、一部の例で使用され得る。例えばＶＴＭ４においてなどの一例において、マージ候補リストは、以下の５つのタイプの候補、すなわち、（１つ以上の）空間隣接ＣＵからの（１つ以上の）空間動きベクトル予測子（ＭＶＰ）、（１つ以上の）コロケートＣＵからの（１つ以上の）時間ＭＶＰ、先入れ先出し（ＦＩＦＯ）テーブルからの（１つ以上の）履歴ベースＭＶＰ（ＨＭＶＰ）、（１つ以上の）ペアワイズ平均ＭＶＰ、及び（１つ以上の）ゼロＭＶ、を順に含めることによって構築される。

【0102】

マージ候補リストのサイズは、スライスヘッダ内でシグナリングされることができる。一例において、マージ候補リストの最大許容サイズはＶＴＭ４において６である。マージモードでコーディングされる各ＣＵについて、最良のマージ候補のインデックス（例えば、マージインデックス）が、トランケートユナリバイナリゼーション（truncated unary binarization；ＴＵ）を用いて符号化され得る。マージインデックスの第１のビンは、コンテキストを用いてコーディングされることができ（例えば、コンテキスト適応バイナリ算術コーディング（context-adaptive binary arithmetic coding；ＣＡＢＡＣ））、他のビンにはバイパスコーディングが使用され得る。

【0103】

マージ候補の各カテゴリの生成プロセスの幾つかの例が以下にて提供される。一実施形態において、（１つ以上の）空間候補は以下のように導出される。ＶＶＣにおける空間マージ候補の導出は、ＨＥＶＣにおけるそれと同じとし得る。一例において、図９に示す位置にある候補の中から最大４つのマージ候補が選択される。図９は、本開示の一実施形態に従った空間マージ候補の位置を示している。図９を参照するに、導出の順序は、Ｂ１、Ａ１、Ｂ０、Ａ０、及びＢ２である。位置Ｂ２は、位置Ａ０、Ｂ０、Ｂ１、及びＡ１のうちのいずれかのＣＵが利用可能でない場合（例えば、そのＣＵが別のスライス又は別のタイルに属するため）又はイントラコーディングされる場合にのみ検討される。位置Ａ１の候補が追加された後、残りの候補の追加は、コーディング効率が向上されるように、同じ動き情報を有する候補が候補リストから除外されることを保証する冗長性検査にかけられる。

【0104】

計算複雑性を低減させるために、前述の冗長性検査では、可能な全ての候補ペアが検討されるわけではない。その代わりに、図１０の矢印で結び付けられたペアのみが検討され、冗長性検査に使用される対応する候補が同じ動き情報を持たない場合にのみ、候補が候補リストに追加される。図１０は、本開示の一実施形態に従った空間マージ候補の冗長性検査のために検討される候補ペアを示している。図１０を参照するに、それぞれの矢印で結ぶ付けられたペアは、Ａ１とＢ１、Ａ１とＡ０、Ａ１とＢ２、Ｂ１とＢ０、及びＢ１とＢ２である。故に、位置Ｂ１、Ａ０、及び／又はＢ２の候補を位置Ａ１の候補と比較することができ、位置Ｂ０及び／又はＢ２の候補を位置Ｂ１の候補と比較することができる。

【0105】

一実施形態において、（１つ以上の）時間候補は以下のように導出される。一例において、１つのみの時間マージ候補が候補リストに追加される。図１１は、時間マージ候補に関する例示的な動きベクトルスケーリングを示している。現在ピクチャ（１１０１）内の現在ＣＵ（１１１１）の時間マージ候補を導出するために、スケーリングされたＭＶ（１１２１）（例えば、図１１に点線で示す）が、コロケート参照ピクチャ（１１０４）に属するコロケートＣＵ（１１１２）に基づいて導出され得る。一例において、コロケート参照ピクチャ（コロケートピクチャとも称される）は、例えば時間動きベクトル予測のために使用される特定の参照ピクチャである。時間動きベクトル予測のために使用されるコロケート参照ピクチャは、例えばハイレベルシンタックス（例えば、ピクチャヘッダ、スライスヘッダ）などの、シンタックス内の参照インデックスによって示されることができる。

【0106】

コロケートＣＵ（１１１２）を導出するために使用される参照ピクチャリストは、スライスヘッダ内で明示的にシグナリングされることができる。図１１中に点線で示すように時間マージ候補に関するスケーリングされたＭＶ（１１２１）が取得され得る。スケーリングされたＭＶ（１１２１）は、ピクチャオーダカウント（ＰＯＣ）距離ｔｂ及びｔｄを用いて、コロケートＣＵ（１１１２）のＭＶからスケーリングされることができる。ＰＯＣ距離ｔｂは、現在ピクチャ（１１０１）の現在参照ピクチャ（１１０２）と現在ピクチャ（１１０１）との間のＰＯＣ差であると定義され得る。ＰＯＣ距離ｔｄは、コロケート参照ピクチャ（１１０３）のコロケート参照ピクチャ（１１０４）とコロケート参照ピクチャ（１１０３）との間のＰＯＣ差であると定義され得る。時間マージ候補の参照ピクチャインデックスはゼロに設定され得る。

【0107】

図１２は、現在ＣＵの時間マージ候補についての例示的な候補位置（例えば、Ｃ０及びＣ１）を示している。候補位置Ｃ０及びＣ１から時間マージ候補の位置を選択することができる。候補位置Ｃ０は、現在ＣＵのコロケートＣＵ（１２１０）の右下コーナーに位置する。候補位置Ｃ１は、現在ＣＵのコロケートＣＵ（１２１０）の中心に位置する。候補位置Ｃ０のＣＵが利用可能でなかったり、イントラコーディングされたり、ＣＴＵの現在の行の外側にあったりする場合、時間マージ候補を導出するために候補位置Ｃ１が使用される。それ以外の場合、例えば、候補位置Ｃ０のＣＵが利用可能であり、イントラコーディングされ、ＣＴＵの現在の行内にある場合、時間マージ候補を導出するために候補位置Ｃ０が使用される。

【0108】

マージ動きベクトル差（ＭＭＶＤ）モードは、動きベクトル表現方法ありのマージモード又はスキップモードで使用されることができる。例えばＶＶＣで使用されるような（１つ以上の）マージ候補をＭＭＶＤモードで再利用することができる。候補は、開始点（例えば、ＭＶ予測子（ＭＶＰ））としてマージ候補の中から選択されることができ、ＭＭＶＤモードによって更に拡張されることができる。ＭＭＶＤモードは、簡略化されたシグナリングを用いて新しい動きベクトル表現を提供することができる。その動きベクトル表現方法は、開始点とＭＶ差（ＭＶＤ）とを含む。一例において、ＭＶＤは、ＭＶＤの大きさ（又は動きの大きさ）と、ＭＶＤの方向（例えば、動き方向）とによって示される。

【0109】

ＭＭＶＤモードは、例えばＶＶＣで使用されるようなマージ候補リストを用いることができる。一実施形態において、デフォルトのマージタイプ（例えば、ＭＲＧ＿ＴＹＰＥ＿ＤＥＦＡＵＬＴ＿Ｎ）のものである（１つ以上の）候補のみがＭＭＶＤモードで検討される。開始点は、ベース候補インデックス（ＩＤＸ）によって示される又は規定されることができる。ベース候補インデックスは、マージ候補リスト内の複数の候補（例えば、複数のベース候補）の中の候補（例えば、最良の候補）を示すことができる。表１は、ベース候補インデックスと対応する開始点との間の例示的な関係を示している。ベース候補インデックスが０、１、２、又は３であることは、対応する開始点が１番目のＭＶＰ、２番目のＭＶＰ、３番目のＭＶＰ、又は４番目のＭＶＰであることを示す。一例において、ベース候補の数が１に等しい場合、ベース候補ＩＤＸはシグナリングされない。

【表1】

【0110】

距離インデックスは、例えばＭＶＤの大きさなど、ＭＶＤの動き大きさ情報を示すことができる。例えば、距離インデックスは、開始点（例えば、ベース候補インデックスによって示されるＭＶＰ）からの距離（例えば、所定の距離）を示す。一例において、その距離は、例えば表２に示されるような複数の所定の距離のうちの１つである。表２は、距離インデックスと対応する距離（サンプル又はピクセルの単位）との間の例示的な関係を示している。表２中の１ペル（pel）は１サンプル又は１ピクセルのことである。例えば、距離インデックスが１であることは、距離が１／２ペル、すなわち、１／２サンプルであることを示す。

【表2】

【0111】

方向インデックスは、開始点に対するＭＶＤの方向を表すことができる。方向インデックスは、例えば表３に示す４つの方向のような複数の方向のうちの１つを表すことができる。例えば、方向インデックスが００であることは、ＭＶＤの方向が正のｘ軸に沿っていることを示す。

【表3】

【0112】

スキップ及びマージフラグを送った後にＭＭＶＤフラグをシグナリングすることができる。スキップ及びマージフラグが真である場合、ＭＭＶＤフラグが解析され得る。一例において、ＭＭＶＤフラグが１に等しい場合、ＭＭＶＤシンタックス（例えば、距離インデックス及び／又は方向インデックスを含む）が解析され得る。ＭＭＶＤフラグが１に等しくない場合、ＡＦＦＩＮＥフラグが解析され得る。ＡＦＦＩＮＥフラグが１に等しい場合、現在ブロックをコーディングするのにＡＦＦＩＮＥモードが使用される。ＡＦＦＩＮＥフラグが１に等しくない場合、例えばＶＴＭにおいて使用されるように、スキップ／マージインデックスがスキップ／マージモードのために解析され得る。

【0113】

図１３－図１４は、ＭＭＶＤモードにおける探索プロセスの一例を示している。探索プロセスを実行することにより、現在ピクチャ（又は現在フレームとして参照する）（１３０１）内の現在ブロック（１３００）について、ベース候補インデックス、方向インデックス、及び／又は距離インデックスを含むインデックスを決定することができる。

【0114】

第１のマージ候補に属する第１の動きベクトル（ＭＶ）（１３１１）及び第２のＭＶ（１３２１）が示されている。第１のマージ候補は、現在ブロック（１３００）のために構築されたマージ候補リスト内のマージ候補であるとすることができる。第１及び第２のＭＶ（１３１１）及び（１３２１）は、それぞれ、参照ピクチャリストＬ０及びＬ１内の２つの参照ピクチャ（１３０２）及び（１３０３）に関連付けられることができる。従って、図１３－図１４の２つの開始点（１４１１）及び（１４２１）を、それぞれ、参照ピクチャ（１３０２）及び（１３０３）内で決定することができる。

【0115】

一例において、開始点（１４１１）及び（１４２１）に基づいて、参照ピクチャ（１３０２）及び（１３０３）内で開始点（１４１１）及び（１４２１）から垂直方向（＋Ｙ又は－Ｙで表される）又は水平方向（＋Ｘ及び－Ｘで表される）に延びる複数の所定の点が評価され得る。一例において、例えば点（１４１４）と（１４２４）とのペア又は点（１４１５）と（１４２５）とのペアなど、それぞれの開始点（１４１１）又は（１４２１）に関して互いに鏡像となる点のペアを用いて、現在ブロック（１３００）についてのＭＶ予測子（ＭＶＰ）候補を形成し得るＭＶ（１３１４）と（１３２４）とのペア又はＭＶ（１３１５）と（１３２５）とのペアを決定し得る。開始点（１４１１）及び／又は（１４２１）を取り囲む所定の点に基づいて決定されるＭＶＰ候補が評価され得る。図１３を参照するに、第１のＭＶ（１３１１）とＭＶ（１３１４）との間のＭＶＤ（１３１２）は１Ｓの大きさを持つ。第２のＭＶ（１３２１）とＭＶ（１３２４）との間のＭＶＤ（１３２２）は１Ｓの大きさを持つ。同様に、第１のＭＶ（１３１１）とＭＶ（１３１５）との間のＭＶＤは２Ｓの大きさを持つ。第２のＭＶ（１３２１）とＭＶ（１３２５）との間のＭＶＤは２Ｓの大きさを持つ。

【0116】

第１のマージ候補に加えて、現在ブロック（１３００）のマージ候補リスト内の他の利用可能な又は有効なマージ候補も同様に評価され得る。一例において、片予測のマージ候補については、２つの参照ピクチャリストのうちの一方に関連付けられた１つの予測方向のみが評価される。

【0117】

一例において、評価に基づいて、最良のＭＶＰ候補を決定することができる。従って、マージリストから、最適なＭＶＰ候補に対応する最適なマージ候補を選択することができ、動き方向及び動き距離も決定することができる。例えば、選択されたマージ候補と表１とに基づいて、ベース候補インデックスを決定することができる。例えば所定の点（１４１５）（又は（１４２５））に対応するものなど、選択されたＭＶＰに基づいて、開始点（１４１１）に対する点（１４１５）の方向及び距離（例えば、２Ｓ）を決定することができる。表２及び表３に従って、方向インデックス及び距離インデックスを然るべく決定することができる。

【0118】

上述したように、例えば距離インデックスと方向インデックスなどの２つのインデックスを用いて、ＭＭＶＤモードにおけるＭＶＤを示すことができる。代わりに、例えば、単一のインデックスをＭＶＤとペアリングするテーブルを使って、単一のインデックスを用いてＭＭＶＤモードにおけるＭＶＤを示してもよい。

【0119】

例えばＭＭＶＤモード及びアフィンＭＭＶＤモードなどの一部の予測モードでは、テンプレートマッチング（ＴＭ）ベースの候補並べ替えが使用され得る。一実施形態において、ＭＭＶＤモード及びアフィンＭＭＶＤモード向けにＭＭＶＤオフセットが拡張される。図１５は、例えば、ｋは０から１５までの整数であるとして、ｋ×π／８の斜めの角度などの、複数の斜めの角度に沿った追加の精緻化位置を示している。複数の斜めの角度に沿った追加の精緻化位置は、例えば４方向（例えば、＋Ｘ、－Ｘ、＋Ｙ、及び－Ｙ）から１６方向（例えば、ｋ＝０，１，２，…，１５）になど、方向の数を増加させることができる。一例において、これら１６方向の各々は、＋Ｘ方向と、中心点（１５００）と点１から点１６のうちの１つとによって示される方向と、の間の角度によって表される。例えば、点１は、０の角度（すなわち、ｋ＝０）を有する＋Ｘ方向を示し、点２は、１×π／８の角度（すなわち、ｋ＝１）に沿った方向を示す、等である。

【0120】

ＴＭはＭＭＶＤモードで実行され得る。一例において、各ＭＭＶＤ精緻化位置について、現在ブロックの現在テンプレートと１つ以上の参照テンプレートとに基づいてＴＭコストが決定され得る。ＴＭコストは、例えば絶対差の和（ＳＡＤ）（例えば、ＳＡＤコスト）、絶対変換差の和（ＳＡＴＤ）、二乗誤差の和（ＳＳＥ）、平均除去したＳＡＤ／ＳＡＴＤ／ＳＳＥ、分散、部分ＳＡＤ、部分ＳＳＥ、部分ＳＡＴＤ、又はこれらに類するものなどの任意の方法を用いて決定され得る。

【0121】

現在ブロックの現在テンプレートは、例えば現在ブロックの上の一行のサンプル及び／又は現在ブロックの左の一列のサンプルなど、何らかの好適サンプルを含むことができる。精緻化位置についての現在テンプレートと対応する参照テンプレートとの間のＴＭコスト（例えば、ＳＡＤコスト）に基づいて、各ベース候補（例えば、ＭＶＰ）についての例えば取り得る全てのＭＭＶＤ精緻化位置（例えば、１６個の方向と６個の大きさを表す１６×６個）といったＭＭＶＤ精緻化位置を並べ替えることができる。一例において、最小側のＴＭコスト（例えば、最小のＳＡＤコスト）を有する上位のＭＭＶＤ精緻化位置が、ＭＭＶＤインデックスコーディングに利用可能なＭＭＶＤ精緻化位置として保持される。例えば、最小側のＴＭコストを有するＭＭＶＤ精緻化位置のサブセット（例えば、８個）が、ＭＭＶＤインデックスコーディングに使用される。例えば、ＭＭＶＤインデックスが、最小側のＴＭコストを有するＭＭＶＤ精緻化位置のサブセットのうちのどの１つが現在ブロックをコーディングするために選択されるかを指し示す。一例において、０のＭＭＶＤインデックスが、最小のＴＭコストに対応するＭＶＤ（例えば、ＭＭＶＤ精緻化位置）が現在ブロックをコーディングするのに使用されることを示す。ＭＭＶＤインデックスは、例えば、２に等しいパラメータを有するライスコードによって２値化され得る。

【0122】

一実施形態において、例えば図１５などの上述のＭＭＶＤオフセット拡張に加えて、アフィンＭＭＶＤ並べ替えが拡張され、ｋ×π／４の斜めの角度に沿った更なる精緻化位置が追加される。並べ替えの後、最小側のＴＭコスト（例えば、ＳＡＤコスト）を有する上位１／２の精緻化位置が、現在ブロックをコーディングするために保持される。

【0123】

コーディング効率を改善し、（１つ以上の）ＭＶの伝送オーバーヘッドを低減させるために、ＣＵレベルの時間動きベクトル予測（ＴＭＶＰ）を拡張すべくサブブロックレベルのＭＶ精緻化が適用され得る。一例において、サブブロックベースＴＭＶＰ（ＳｂＴＭＶＰ）モードは、コロケート参照ピクチャからのサブブロックレベルの動き情報を継承することを可能にする。上述のように、コロケート参照ピクチャは、例えばハイレベルシンタックス（例えば、ピクチャヘッダ、スライスヘッダ）などのシンタックス内の参照インデックスによって示されることができる。現在ピクチャ内の現在ＣＵ（例えば、大きいサイズを有する現在ＣＵ）の各サブブロックが、ブロックパーティション構造又はそれぞれの動き情報を明示的に伝送することなしに、それぞれの動き情報を持つことができる。ＳｂＴＭＶＰモードにおいて、各サブブロックの動き情報は、例えば３つのステップで以下のように取得され得る。第１ステップにて、現在ＣＵの変位ベクトル（ＤＶ）が導出され得る。ＤＶはコロケート参照ピクチャ内のブロックを示すことができ、例えば、ＤＶは現在ピクチャ内の現在ブロックからコロケート参照ピクチャ内のブロックを指す。従って、ＤＶによって示されるブロックは、現在ブロックとコロケートであると見なされ、現在ブロックのコロケートブロックと称される。第２ステップにて、ＳｂＴＭＶＰ候補の利用可能性を検査することができ、中心動き（例えば、現在ＣＵの中心動き）が導出され得る。第３ステップにて、サブブロック動き情報が、ＤＶを用いてコロケートブロック内の対応するサブブロックから導出され得る。これら３つのステップは、１つ又は２つのステップに組み合わされてもよく、及び／又はこれら３つのステップの順序が調整されてもよい。

【0124】

参照フレーム又は参照ピクチャ内のコロケートブロックから時間ＭＶを導出するＴＭＶＰ候補導出とは異なり、ＳｂＴＭＶＰモードでは、ＤＶ（例えば、現在ＣＵの左の隣接ＣＵのＭＶから導出されたＤＶ）を適用して、現在ピクチャ内にある現在ＣＵ内の各サブブロックについて、コロケート参照ピクチャ内の対応するサブブロックを位置特定することができる。対応するサブブロックがインターコーディングされない場合、現在サブブロックの動き情報は、コロケートブロックの中心動きに設定され得る。

【0125】

ＳｂＴＭＶＰモードは、例えばＶＶＣを含む様々なビデオコーディング標準によってサポートされ得る。ＴＭＶＰモードと同様に、例えば、ＨＥＶＣでは、ＳｂＴＭＶＰモードにおいて、コロケート参照ピクチャにおける動きフィールド（動き情報フィールド又はＭＶフィールドとも称される）を用いて、現在ピクチャ内のＣＵに対するＭＶ予測及びマージモードを改善することができる。一例において、ＴＭＶＰモードによって使用されるのと同じコロケート参照ピクチャがＳｂＴＭＶＰモードで使用される。一例において、ＳｂＴＭＶＰモードは、以下の観点、すなわち、（ｉ）ＴＭＶＰモードはＣＵレベルで動き情報を予測するのに対し、ＳｂＴＭＶＰモードはサブＣＵレベルで動き情報を予測する、（ｉｉ）ＴＭＶＰモードはコロケート参照ピクチャ内のコロケートブロック（例えば、コロケートブロックは現在ＣＵに対して右下又は中央のブロックである）から時間ＭＶをフェッチするのに対し、ＳｂＴＭＶＰモードは、コロケート参照ピクチャから時間動き情報をフェッチする前に動きシフトを適用することができる、という観点においてＴＭＶＰモードとは異なる。一例において、ＳｂＴＭＶＰモードで使用される動きシフトは、現在ＣＵの空間隣接ブロックのうちの１つのＭＶから取得される。

【0126】

図１６－図１７は、ＳｂＴＭＶＰモードで使用される例示的なＳｂＴＭＶＰプロセスを示している。当該ＳｂＴＭＶＰプロセスは、例えば２つのステップで、現在ピクチャ（１７１１）の現在ＣＵ（例えば、現在ブロック）（１６０１）内のサブＣＵ（例えば、サブブロック）のＭＶを予測することができる。第１ステップにて、図１６－図１７の現在ブロック（１６０１）に空間的に隣接するもの（空間ネイバー）（例えば、Ａ１）が調べられる。空間ネイバー（例えば、Ａ１）が、当該空間ネイバー（例えば、Ａ１）の参照ピクチャとしてコロケート参照ピクチャ（１７１２）を用いるＭＶ（１７２１）を持つ場合、該ＭＶ（１７２１）が、現在ブロック（１６０１）に適用されるべき動きシフト（又はＤＶ）であるように選択され得る。そのようなＭＶ（例えば、参照ピクチャとしてコロケート参照ピクチャ（１７１２）を用いるＭＶ）が特定されない場合、動きシフト又はＤＶはゼロＭＶ（例えば、（０，０））に設定され得る。一部の例において、そのようなＭＶが空間ネイバーＡ１について特定されない場合、例えばＡ０、Ｂ０、及びＢ１などの更なる空間ネイバーの（１つ以上の）ＭＶが検査される。

【0127】

第２ステップにて、第１ステップで特定された動きシフト又はＤＶ（１７２１）を現在ブロック（１６０１）に適用して（例えば、ＤＶ（１７２１）を現在ブロックの座標に足し合わせて）、コロケート参照ピクチャ（１７１２）からサブＣＵレベルの動き情報（例えば、ＭＶと参照インデックスとを含む）を取得し得る。図１７に示す例では、動きシフト又はＤＶ（１７２１）は、現在ブロック（１６０１）の空間ネイバーＡ１（例えば、ブロックＡ１）のＭＶであるように設定されている。現在ブロック（１６０１）内の各サブＣＵ又はサブブロック（１７３１）について、コロケート参照ピクチャ（１７１２）内の対応するコロケートブロック（１７０１）の動き情報（例えば、コロケートブロック（１７０１）の中心サンプルをカバーする最小動きグリッドの動き情報）を用いて、サブＣＵ又はサブブロック（１７３１）の動き情報を導出し得る。コロケートブロック（１７０１）内のコロケートサブＣＵ（１７３２）の動き情報が特定された後、コロケートサブＣＵ（１７３２）の動き情報を、例えば、時間ＭＶの参照ピクチャを現在ＣＵの参照ピクチャにアライメントするために時間動きスケーリングが適用されるものであるＨＥＶＣで使用されるＴＭＶＰプロセスと同様の手法などでスケーリング法を用いて、現在サブＣＵ（１７３１）の動き情報（例えば、ＭＶ及び１つ以上の参照インデックス）に変換することができる。

【0128】

ＤＶ（１７２１）に基づいて導出される現在ブロック（１６０１）の動きフィールドは、例えば（１つ以上の）ＭＶ及び１つ以上の関連付けられた参照インデックスなどの、現在ブロック（１６０１）内の各サブブロック（１７３１）の動き情報を含むことができる。現在ブロック（１６０１）の動きフィールドは、ＳｂＴＭＶＰ候補とも称されることができ、ＤＶ（１７２１）に対応する。

【0129】

図１７は、現在ブロック１６０１の動きフィールド又はＳｂＴＭＶＰ候補の一例を示している。例えば、双予測されるサブブロック（１７３１（１））の動き情報は、第１のＭＶと、参照ピクチャリスト０（Ｌ０）内の第１の参照ピクチャを示す第１のインデックスと、第２のＭＶと、参照ピクチャリスト１（Ｌ１）内の第２の参照ピクチャを示す第２のインデックスとを含む。一例において、片予測されるサブブロック（１７３１（２））の動き情報は、ＭＶとＬ０又はＬ１内の参照ピクチャを示すインデックスとを含む。

【0130】

一例において、ＤＶ（１７２１）を現在ブロック（１６０１）の中心位置に適用して、コロケート参照ピクチャ（１７１２）における変位された中心位置を位置特定する。変位された中心位置を含むブロックがインターコーディングされない場合、ＳｂＴＭＶＰ候補は利用可能でないと見なされる。そうではなく、変位された中心位置を含むブロック（例えば、コロケートブロック（１７０１））がインターコーディングされる場合、現在ブロック（１６０１）の中心動きと称される現在ブロック（１６０１）の中心位置の動き情報が、コロケート参照ピクチャ（１７１２）内の変位された中心位置を含むブロックの動き情報から導出され得る。一例において、現在ブロック（１６０１）の中心動きをコロケート参照ピクチャ（１７１２）内の変位された中心位置を含むブロックの動き情報から導出するために、スケーリングプロセスが使用され得る。ＳｂＴＭＶＰ候補が利用可能であるとき、現在ブロック（１６０１）の各サブブロック（１７３２）について、ＤＶ（１７２１）を適用して、コロケート参照ピクチャ（１７１２）内の対応するサブブロック（１７３１）を見つけることができる。対応するサブブロック（１７３２）の動き情報を用いて、例えば、現在ブロック（１６０１）の中心動きを導出するのに使用されるのと同じ手法などで、現在ブロック（１６０１）内のサブブロック（１７３１）の動き情報を導出することができる。一例において、対応するサブブロック（１７３２）がインターコーディングされない場合、現在サブブロック（１７３１）の動き情報は現在ブロック（１６０１）の中心動きであるように設定される。

【0131】

例えばＶＶＣにおいてなどの一部の例において、ＳｂＴＭＶＰ候補と（１つ以上の）アフィンマージ候補とを含む組み合わされたサブブロックベースマージリストが、サブブロックベースマージモードのシグナリングにおいて使用される。ＳｂＴＭＶＰモードは、シーケンスパラメータセット（ＳＰＳ）フラグによって有効にされたり無効にされたりし得る。ＳｂＴＭＶＰモードが有効にされる場合、ＳｂＴＭＶＰ候補（又はＳｂＴＭＶＰ予測子）は、サブブロックベースのマージ候補を含むサブブロックベースマージリストの最初のエントリとして追加され、その後に（１つ以上の）アフィンマージ候補が続くことができる。サブブロックベースマージリストのサイズは、ＳＰＳ内でシグナリングされることができる。一例において、サブブロックベースマージリストの最大許容サイズは、ＶＶＣにおいて５である。一例において、複数のＳｂＴＭＶＰ候補がサブブロックベースマージリストに含められる。

【0132】

例えばＶＶＣにおいてなどの一部の例において、ＳｂＴＭＶＰモードで使用されるサブＣＵサイズは、例えばアフィンマージモードに使用されるように、８×８に固定される。一例において、ＳｂＴＭＶＰモードは、幅及び高さの両方が８以上であるＣＵにのみ適用可能である。サブブロックサイズ（例えば、８×８）は、ＶＶＣ以降の探査のためのＥＣＭソフトウェアモデル利用における４×４など、他のサイズに構成可能であってもよい。一例において、ＡＭＶＰモードでＳｂＴＭＶＰ及び／又はＴＭＶＰのための時間動き情報を提供するために、例えば２つのコロケートフレームなどの複数のコロケート参照ピクチャが利用される。

【0133】

例えばＶＶＣ及びＥＣＭにおいてなどのＳｂＴＭＶＰモードの一部の例において、現在ＣＵのＤＶ（例えば、図１７のＤＶ（１７２１））は、現在ＣＵの隣接ＣＵのＭＶからのみ導出される。しかしながら、ＤＶを用いて導出されるＳｂＴＭＶＰ候補は正確な一致ではないことがある。

【0134】

ＳｂＴＭＶＰモードにおいてＤＶオフセット（ＤＶＯ）を用いることができる。一例において、より正確な一致を得るために、ＤＶオフセットによってＤＶ（例えば、当初ＤＶ）を変更して、更新されたＤＶ’を決定することができる。一例において、更新されたＤＶ’は、ＤＶ（例えば、当初ＤＶ）とＤＶＯとのベクトル和である。当初ＤＶは、例えば図１６－図１７で説明したものなどの任意の方法を用いて決定され得る。例えば、当初ＤＶは、現在ブロックの隣接ブロックのＭＶに基づいて決定される。現在ブロックについて、ＤＶＯがシグナリングされて解析されることで、当初ＤＶの追加の動きオフセットを示し得る。ＤＶＯは、例えば、複数のＤＶＯ候補からＤＶＯを指し示すインデックスをシグナリングすることによって示され得る。一例において、ＤＶＯがシグナリングされる。一例において、ＤＶＯを示すためにＭＭＶＤモードが使用され、例えば、ＤＶＯは、表２－表３に記載されたものなどの方向インデックス及び／又は距離インデックスによって示されるＭＶＤである。ＤＶＯを用いることにより、コロケート参照ピクチャ内のコロケートＣＵ（又はコロケートブロック）の位置を調整することができ、故に、ＤＶＯに基づいてコロケートＣＵ（又はコロケートブロック）のＭＶフィールドが変化することができる。ＤＶＯが０でないとき、更新されたＤＶ’が、ＳｂＴＭＶＰプロセスを実行するためにコロケートＣＵ（又はコロケートブロック）の位置を示す変位ベクトルとして使用され得る。図１７を参照するに、空間ネイバーＡ１のＭＶである当初ＤＶ（例えば、ＤＶ（１７２１））を用いる代わりに、更新されたＤＶ’を用いて現在ブロックについてコロケートブロックを決定することができる。更新されたＤＶ’（例えば、当初ＤＶとＤＶＯとのベクトル和）を用いて現在ブロックのＳｂＴＭＶＰ候補を導出することができる。

【0135】

一実施形態において、ＤＶＯは、例えば、ＡＭＶＰモード、ＡＭＶＲモード、及び／又はこれらに類するものにおいてなどでＭＶＤをシグナリングするのに使用される任意のシグナリング方法を使用して、直接シグナリングされる。ＡＭＶＲモードでは、ブロックのＭＶＤが、例えば１／４、１／２、１、又は４ルマサンプル解像度などの異なる解像度でシグナリングされることができる。ＤＶＯは、ＡＭＶＲモードを使用して異なる解像度でシグナリングされ得る。

【0136】

所定のＤＶＯリストが、複数のＤＶＯ候補（例えば、現在ブロックによって使用されるのに可能なＤＶＯ）を含むことができる。それらＤＶＯ候補のうちのどのＤＶＯ候補がＤＶＯとして選択されるのかを指し示すために、１つ以上のインデックスがシグナリングされ得る。

【0137】

一例において、ＤＶＯは、ＭＭＶＤモードを使用してシグナリングされる。例えば、表２－表３に記載したように、ＤＶＯ候補の大きさを示す第１のインデックス（例えば、距離インデックス又はステップインデックス）と、ＤＶＯ候補の方向を示す第２のインデックス（例えば、方向インデックス）とを含む２つのインデックスが、ＤＶＯ候補を示すためにシグナリングされる。

【0138】

図１４を再び参照するに、距離インデックス（又はステップインデックス）及び方向インデックスは、ＭＭＶＤモードを参照して上述したように予め定められ得る。距離インデックスは、例えばＤＶＯの大きさなどの動き大きさ情報を示す。例えば、距離インデックスは、開始点（例えば、当初ＤＶ）からのある所定の距離を示す。一例において、利用可能な所定の距離は表２に示される。方向インデックスは、開始点（例えば、当初ＤＶ）に対するＤＶＯの方向を表す。方向インデックスは、例えば表３に示した４つの方向などの複数の方向のうちの１つを示すことができる。

【0139】

一例において、コロケート参照ピクチャ内のコロケートＣＴＵが、現在ブロックを含む現在ＣＴＵとコロケートである。現在ＣＴＵは現在ピクチャ内に位置する。一実施形態において、更新されたＤＶ’に対応するコロケートブロックの位置は、コロケート参照ピクチャ内の第１のエリア内にあるように制限される。一例において、コロケート参照ピクチャ内の第１のエリアはコロケートＣＴＵを含む。一例において、コロケート参照ピクチャ内の第１のエリアは、コロケートＣＴＵに加えて、コロケートＣＴＵの右境界にある４×４ブロックのうちの１つの列を含む。更新されたＤＶ’は、更新されたＤＶ’に対応するコロケートブロックがコロケート参照ピクチャ内の第１のエリア内にあるように制約され得る。一例において、ＤＶＯ（例えば、ＤＶＯの水平成分ＤＶＯ_ｘ及び／又はＤＶＯの垂直成分ＤＶＯ_ｙ）は、更新されたＤＶ’が上述のコロケートブロックの位置制約を満たすことを保証するように制約される。

【0140】

一例において、更新されたＤＶ’の最大垂直成分はＨである。ＤＶＯ（例えば、ＤＶＯの垂直成分ＤＶＯ_ｙ）は、ＨからＤＶの垂直成分ＤＶｙを引いたもの以下にされ、例えば、ＤＶＯ_ｙ≦Ｈ－ＤＶ_ｙである。更新されたＤＶ’の最大水平成分はＷであり、ＤＶＯは、ＷからＤＶの水平成分ＤＶ_ｘを引いたもの以下にされ、例えば、ＤＶＯ_ｘ≦Ｗ－ＤＶ_ｘである。

【0141】

図１６－図１７で説明したように、コロケート参照ピクチャ（例えば、（１７１２））内のコロケートブロック（例えば、（１７０１））は、現在ピクチャ（例えば、（１７１１））内の現在ブロック（例えば、（１６０１））のＤＶ（例えば、（１７２１））に基づいて決定されることができる。従って、現在ブロック内の各サブブロックの動き情報（例えば、ＴＭＶＰ）は、コロケートブロック内の対応するサブブロックの動き情報に基づき得る。本開示の一実施形態によれば、現在ブロック内の各サブブロックの更新された動き情報（例えば、更新されたＴＭＶＰ）が、現在ブロック内のサブブロックの動き情報（例えば、ＴＭＶＰ）と現在ブロックの動きベクトルオフセット（ＭＶＯ）とに基づいて決定され得る。

【0142】

一実施形態において、現在ブロック内のそれぞれのサブブロックの導出されたサブブロックレベルＴＭＶＰ各々にＭＶＯが足し合わされて、更新されたサブブロックレベルＴＭＶＰを生成する。ＳｂＴＭＶＰモードを用いて決定される現在ブロック内のそれぞれのサブブロックのサブブロックベースＴＭＶＰ各々の追加の動きオフセットを示すために、ＭＶＯがシグナリングされて解析され得る。

【0143】

一実施形態において、ＭＶＯは、例えば、ＡＭＶＰモード、ＡＭＶＲモード、及び／又はこれらに類するものにおいてなどでＭＶＤをシグナリングするのに使用される任意のシグナリング方法を使用して、直接シグナリングされる。ＡＭＶＲモードでは、ブロックのＭＶＤが、例えば１／４、１／２、１、又は４ルマサンプル解像度などの異なる解像度でシグナリングされることができる。ＭＶＯは、ＡＭＶＲモードを使用して異なる解像度でシグナリングされ得る。

【0144】

所定のＭＶＯリストが、複数のＭＶＯ候補（例えば、現在ブロックによって使用されるのに可能なＭＶＯ）を含むことができる。所定のＭＶＯリスト内のＤＶＯ候補のうちのどのＭＶＯ候補がＭＶＯとして選択され得るのかを指し示すために、１つ以上のインデックスがシグナリングされ得る。

【0145】

一例において、ＭＶＯは、ＭＭＶＤモードを使用してシグナリングされる。例えば、表２－表３に記載したように、ＭＶＯ候補の大きさを示す第１のインデックス（例えば、距離インデックス又はステップインデックス）と、ＭＶＯ候補の方向を示す第２のインデックス（例えば、方向インデックス）とを含む２つのインデックスが、ＭＶＯ候補を示すためにシグナリングされる。

【0146】

図１４を再び参照するに、ＭＶＯの距離インデックス（又はステップインデックス）及び方向インデックスは、ＭＭＶＤモードを参照して上述したように予め定められ得る。距離インデックスは、例えばＭＶＯの大きさなどの動き大きさ情報を示し、例えば、開始点（例えば、コロケート参照ピクチャ内のコロケートブロックの位置を決定するのに使用されるＤＶ）からのある所定の距離を示す。一例において、利用可能な所定の距離は表２に示される。方向インデックスは、開始点（例えば、コロケート参照ピクチャ内のコロケートブロックの位置を決定するのに使用されるＤＶ）に対するＭＶＯの方向を表す。方向インデックスは、例えば表３に示した４つの方向などの複数の方向のうちの１つを示すことができる。

【0147】

一例において、現在ブロック内のあるサブブロックが双予測される。図１７を参照するに、サブブロック（１７３１（１））は双予測され、参照リストＬ０内の第１の参照ピクチャに関連付けられた第１のＭＶと、参照リストＬ１内の第２の参照ピクチャに関連付けられた第２のＭＶとを持つ。参照リストＬ０に関連付けられた第１のＭＶにＭＶＯが適用され得る。更新された第１のＭＶは、第１のＭＶとＭＶＯとのベクトル和とすることができる。以下の実施形態が、参照リストＬ１に関連付けられた第２のＭＶに適用され得る。

【0148】

一例において、ＭＶＯは、参照リストＬ１に関連付けられた第２のＭＶには適用されない。例えば、参照リストＬ１に関連付けられた第２のＭＶには如何なるＭＶＯも適用されない。従って、サブブロック（１７３１（１））の更新された動き情報は、更新された第１のＭＶと、第２のＭＶとを含む。

【0149】

一例において、ＭＶＯの鏡像ＭＶＯが、参照リストＬ１に関連付けられた第２のＭＶに適用される。鏡像ＭＶＯとＭＶＯは、同じ大きさと、反対の向きと持つことができる。ＭＶＯの水平成分及び垂直成分（例えば、シグナリングされる）に－１が乗算されて、それぞれ、鏡像ＭＶＯの水平成分及び垂直成分が得られる。更新された第２のＭＶは、第２のＭＶと鏡像ＭＶＯとのベクトル和、又は第２のＭＶとＭＶＯとの間のベクトル差とすることができる。従って、サブブロック（１７３１（１））の更新された動き情報は、更新された第１のＭＶ（例えば、第１のＭＶ＋ＭＶＯ）と、更新された第２のＭＶ（例えば、第２のＭＶ－ＭＶＯ）とを含む。

【0150】

一例において、スケーリングされたＭＶＯ（ＭＶＯ’）が、参照リストＬ１に関連付けられた第２のＭＶに適用され得る。ＭＶＯの各成分（例えば、水平成分及び垂直成分）の値が、式１に示されるように、第１のＰＯＣ差及び第２のＰＯＣ差に基づいてスケーリングされ得る。式１は、ベクトルＭＶＯ’及びＭＶＯに適用され得る。式１は、ベクトルＭＶＯ’及びＭＶＯの各成分に適用されることができる。第１のＰＯＣ差は、現在ピクチャのＰＯＣ（ＰＯＣ_ｃｕｒｒ）と参照ピクチャリストＬ０内の第１の参照ピクチャのＰＯＣ（ＰＯＣ_Ｌ０）との間の差である。第２のＰＯＣ差は、現在ピクチャのＰＯＣ（ＰＯＣ_ｃｕｒｒ）と参照ピクチャリストＬ１内の第２の参照ピクチャのＰＯＣ（ＰＯＣ_Ｌ１）との間の差である。
ＭＶＯ’＝ＭＶＯ×（ＰＯＣ_Ｌ１－ＰＯＣ_ｃｕｒｒ）／（ＰＯＣ_Ｌ０－ＰＯＣ_ｃｕｒｒ）
式１

【0151】

一例において、スケーリングされたＭＶＯ（ＭＶＯ’）は、参照リストＬ１に関連付けられた第２のＭＶに足し合わされる。一例において、スケーリングされたＭＶＯ（ＭＶＯ’）の鏡像ＭＶＯ’が、参照リストＬ１に関連付けられた第２のＭＶに足し合わされる。

【0152】

上述したように、ＳｂＴＭＶＰモードの一例（例えば、図１６－図１７で説明したＳｂＴＭＶＰモードに対するバリエーション）において、ＤＶＯをＤＶに適用することで、コロケート参照ピクチャ内のコロケートブロックの位置が調整され、ひいては現在ブロック内のサブブロックの動き情報に影響を及ぼすことができるようにすることができる。ＳｂＴＭＶＰモードの他の一例（例えば、図１６－図１７で説明したＳｂＴＭＶＰモードに対する他のバリエーション）では、ＭＶＯを適用することで、現在ブロック内のサブブロックの動き情報を直接調整することができる。ＤＶＯとＭＶＯは、同じ方法を用いてシグナリングされ得る。例えば、所定のＭＶＯリストは所定のＤＶＯリストと同じであり、ＤＶＯとＭＶＯが、同じ所定のＭＶＯリストを用いることができる。

【0153】

一部の例において、ＤＶＯをＤＶに適用することで、コロケート参照ピクチャ内のコロケートブロックの位置が調整され得るようにすることができる。更新されたＤＶ’（例えば、ＤＶ＋ＤＶＯ）に基づいて決定されたコロケート参照ピクチャ内の対応するサブブロックの動き情報に基づいて、現在ブロック内のサブブロックの動き情報を取得した後に、現在ブロック内のサブブロックの動き情報を更に調整するためにＭＶＯが適用され得る。ＤＶＯは、ＭＶＯと同じであってもよいし、異なってもよい。

【0154】

図１８は、本開示の一実施形態に従った符号化プロセス（１８００）を概説するフローチャートを示している。プロセス（１８００）はビデオエンコーダにおいて使用されることができる。プロセス（１８００）は、処理回路を含むことができるビデオコーディングのための装置によって実行されることができる。様々な実施形態において、プロセス（１８００）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１８００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１８００）を実行する。当該プロセスは（Ｓ１８０１）で開始して（Ｓ１８１０）に進む。

【0155】

（Ｓ１８１０）にて、現在ピクチャ内の現在ブロックの更新されたＤＶが、現在ブロックのＤＶ及び現在ブロックのＤＶオフセット（ＭＶオフセット（ＭＶＯ）とも称される）に基づいて決定され得る。ＤＶは、例えば図１６－図１７においてなどで上述したように決定されることができる。現在ブロックの更新されたＤＶは、コロケートピクチャ内のコロケートブロックを示す。コロケートブロックは現在ブロックとコロケートである。

【0156】

現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して符号化される複数のサブブロックを含む。

【0157】

一例において、ＤＶオフセット（又はＭＶＯ）は、任意の好適な方法を用いてＤＶオフセット候補から決定される。

【0158】

一例において、更新されたＤＶは、ＤＶとＤＶオフセットとのベクトル和であるように決定される。

【0159】

【0160】

（Ｓ１８２０）にて、上記複数のサブブロックのうちのサブブロックの動き情報が、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定され得る。

【0161】

（Ｓ１８３０）にて、ＤＶオフセットを示すＤＶオフセット情報（ＭＶＯ情報とも称される）が符号化され得る。上記複数のサブブロックのうちの上記サブブロックは、上記複数のサブブロックのうちの上記サブブロックの動き情報に基づいて符号化され得る。

【0162】

一実施形態において、ＤＶオフセット情報は、ＤＶオフセットの大きさ及びＤＶオフセットの方向を示す少なくとも１つのインデックスを示す。一例において、該少なくとも１つのインデックスは、一組の所定の距離のうちの１つであるＤＶオフセットの大きさを示す距離インデックスと、一組の所定の方向のうちの１つであるＤＶオフセットの方向を示す方向インデックスとを含む。

【0163】

一例において、上記一組の所定の距離及び上記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される。

【0164】

（Ｓ１８４０）にて、符号化されたＤＶオフセット情報が、ビットストリームに含められてデコーダにシグナリングされ得る。

【0165】

一例において、ＤＶオフセット情報は、ビットストリームに符号化されてシグナリングされるＤＶオフセットを含む。

【0166】

そして、プロセス（１８００）は（Ｓ１８９９）に進んで終了する。

【0167】

プロセス（１８００）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（１８００）のステップを調整することができる。プロセス（１８００）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（１８００）を実施し得る。更なる（１つ以上の）ステップが追加され得る。

【0168】

一実施形態において、現在ピクチャ内の現在ブロックの更新された変位ベクトル（ＤＶ）が、現在ブロックのＤＶ及びＭＶＯ（ＤＶオフセットとも称される）に基づいて決定される。ＭＶＯは、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用されるＤＶの動きオフセットを示す。更新されたＤＶは、コロケート参照ピクチャ内のコロケートブロックの調整された位置を示す。現在ブロックはＳｂＴＭＶＰモードでコーディングされる。

【0169】

上記複数のサブブロックのそれぞれのサブブロックのＳｂＴＭＶＰ情報（例えば、動き情報）が、少なくとも、更新されたＤＶによって示されるコロケートブロック内の対応するサブブロックの動き情報に基づいて、導出され得る。上記複数のサブブロックが、上記複数のサブブロックのＳｂＴＭＶＰ情報に基づいて、ＳｂＴＭＶＰモードで符号化され得る。

【0170】

図１９Ａは、本開示の一実施形態に従った復号プロセス（１９００Ａ）を概説するフローチャートを示している。プロセス（１９００Ａ）はビデオデコーダにおいて使用されることができる。プロセス（１９００Ａ）は、受信回路及び処理回路を含むことができるビデオコーディングのための装置によって実行されることができる。様々な実施形態において、プロセス（１９００Ａ）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路ビデオエンコーダ（６０３）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１９００Ａ）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１９００Ａ）を実行する。当該プロセスは（Ｓ１９０１）で開始して（Ｓ１９１０）に進む。

【0171】

（Ｓ１９１０）にて、現在ピクチャ内の現在ブロックの変位ベクトル（ＤＶ）オフセット（ＭＶオフセット（ＭＶＯ）とも称される）情報が符号化ビデオビットストリームから受信され得る。現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して再構成される複数のサブブロックを含む。ＤＶオフセット（又はＭＶＯ）情報は、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用されるＤＶに対する動きオフセットを示すことができる。一例において、コロケート参照ピクチャ内のコロケートブロックの位置はＤＶオフセットによって調整される。

【0172】

一例において、ＤＶオフセット情報は、符号化ビデオビットストリーム内でシグナリングされるＤＶオフセット（又はＭＶＯ）を含む。

【0173】

【0174】

一例において、上記一組の所定の距離及び上記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される。

【0175】

（Ｓ１９２０）にて、現在ブロックのＤＶ及び現在ブロックのＤＶオフセットに基づいて、現在ブロックの更新されたＤＶが決定され得る。ＤＶオフセットはＤＶオフセット情報によって示される。現在ブロックの更新されたＤＶは、コロケート参照ピクチャ内のブロックを指し示す。該ブロックは、現在ブロックとコロケートであると見なされ、現在ブロックのコロケートブロックと称される。

【0176】

一例において、更新されたＤＶは、ＤＶとＤＶオフセットとのベクトル和であるように決定される。

【0177】

【0178】

（Ｓ１９３０）にて、上記複数のサブブロックのうちのサブブロックの動き情報が、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定され得る。

【0179】

（Ｓ１９４０）にて、上記複数のサブブロックのうちの上記サブブロックが、上記複数のサブブロックのうちの上記サブブロックの動き情報に基づいて再構成され得る。

【0180】

プロセス（１９００Ａ）は（Ｓ１９９９）に進んで終了する。

【0181】

プロセス（１９００Ａ）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（１９００Ａ）のステップを調整することができる。プロセス（１９００Ａ）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（１９００Ａ）を実施し得る。更なる（１つ以上の）ステップが追加され得る。

【0182】

図１９Ｂは、本開示の一実施形態に従った復号プロセス（１９００Ｂ）を概説するフローチャートを示している。プロセス（１９００Ｂ）は、復号プロセス（１９００Ａ）のバリエーションである。プロセス（１９００Ｂ）はビデオデコーダにおいて使用されることができる。プロセス（１９００Ｂ）は、受信回路及び処理回路を含むことができるビデオコーディングのための装置によって実行されることができる。様々な実施形態において、プロセス（１９００Ａ）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路ビデオエンコーダ（６０３）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（１９００Ｂ）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（１９００Ｂ）を実行する。当該プロセスは（Ｓ１９０２）で開始して（Ｓ１９１２）に進む。

【0183】

（Ｓ１９１２）にて、現在ピクチャを有する符号化ビデオビットストリームが受信される。現在ピクチャは現在ブロックを含む。現在ブロックは複数のサブブロックを含む。

【0184】

（Ｓ１９２２）にて、符号化ビデオビットストリーム内のシンタックス要素に基づいて、上記複数のサブブロックを含む現在ブロックがＳｂＴＭＶＰモードでコーディングされることが決定される。

【0185】

（Ｓ１９３２）にて、現在ブロックの動きベクトルオフセット（ＭＶＯ）情報が取得される。ＭＶＯは、コロケート参照ピクチャ内のコロケートブロックの位置を調整するために使用される変位ベクトル（ＤＶ）の動きオフセットを示す。

【0186】

（Ｓ１９４２）にて、現在ブロックのＤＶ及びＭＶＯに基づいて、現在ブロックの更新されたＤＶが決定される。更新されたＤＶは、コロケート参照ピクチャ内のコロケートブロックの調整された位置を示す。

【0187】

（Ｓ１９５２）にて、上記複数のサブブロックのそれぞれのサブブロックのＳｂＴＭＶＰ情報（例えば、動き情報）が、少なくとも、更新されたＤＶによって示されるコロケートブロック内の対応するサブブロックの動き情報に基づいて導出される。

【0188】

（Ｓ１９６２）にて、上記複数のサブブロックが、上記複数のサブブロックのＳｂＴＭＶＰ情報に基づいてＳｂＴＭＶＰモードで再構成される。

【0189】

プロセス（１９００Ｂ）は（Ｓ１９９２）に進んで終了する。

【0190】

プロセス（１９００Ｂ）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（１９００Ｂ）のステップを調整することができる。プロセス（１９００Ｂ）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（１９００Ｂ）を実施し得る。更なる（１つ以上の）ステップが追加され得る。

【0191】

本開示の実施形態は、任意の順序で別々に又は組み合わせて使用され得る。また、これらの方法（又は実施形態）の各々、エンコーダ、及びデコーダは、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装され得る。一例において、それら１つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行する。

【0192】

図２０は、本開示の一実施形態に従った符号化プロセス（２０００）を概説するフローチャートを示している。プロセス（２０００）はビデオエンコーダにおいて使用されることができる。プロセス（２０００）は、処理回路を含むことができるビデオコーディングのための装置によって実行されることができる。様々な実施形態において、プロセス（２０００）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（例えば、（４０３）、（６０３）、（７０３））の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（２０００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（２０００）を実行する。当該プロセスは（Ｓ２００１）で開始して（Ｓ２０１０）に進む。

【0193】

（Ｓ２０１０）にて、例えば図１６－図１７にて説明したように、現在ピクチャ内の現在ブロックの変位ベクトル（ＤＶ）が決定され得る。現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して符号化される複数のサブブロックを含む。ＤＶは、現在ブロックとコロケートであるコロケート参照ピクチャ内のコロケートブロックを示す。

【0194】

（Ｓ２０２０）にて、例えば図１６－図１７にて説明したように、上記複数のサブブロックのうちのサブブロックの動き情報が、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定され得る。

【0195】

（Ｓ２０３０）にて、上記複数のサブブロックのうちの上記サブブロックの動き情報と、現在ブロックの動きベクトル（ＭＶ）オフセットとに基づいて、上記複数のサブブロックのうちの上記サブブロックの更新された動き情報が決定され得る。

【0196】

一例において、上記複数のサブブロックのうちの上記サブブロックの動き情報は、第１の参照ピクチャリストＬ０からの第１の参照ピクチャに関連付けられた第１の動きベクトル（ＭＶ）を含む。更新された第１のＭＶが、第１のＭＶとＭＶオフセットとのベクトル和であるように決定され得る。更新された動き情報は更新された第１のＭＶを含む。

【0197】

一例において、上記複数のサブブロックのうちの上記サブブロックの動き情報は、第２の参照ピクチャリストＬ１からの第２の参照ピクチャに関連付けられた第２のＭＶを含む。更新された第２のＭＶが、（ｉ）第２のＭＶとＭＶオフセットとのベクトル差、又は（ｉｉ）第２のＭＶとスケーリングされたＭＶオフセットとのベクトル和、のうちの一方であるように決定され得る。スケーリングされたＭＶオフセットは、ＭＶオフセットと、現在ピクチャのピクチャオーダカウント（ＰＯＣ）と、第１の参照ピクチャのＰＯＣと、第２の参照ピクチャのＰＯＣとに基づき得る。更新された動き情報は更新された第２のＭＶを含む。

【0198】

（Ｓ２０４０）にて、ＭＶオフセットを示すＭＶオフセット情報が符号化され得る。上記複数のサブブロックのうちの上記サブブロックが、更新された動き情報に基づいて符号化され得る。ＭＶオフセット情報はビットストリームに含められ得る。

【0199】

一例において、ＭＶオフセット情報はＭＶオフセットを含む。

【0200】

一例において、ＭＶオフセット情報は、ＭＶオフセットの大きさ及びＭＶオフセットの方向を示す少なくとも１つのインデックスを示す。該少なくとも１つのインデックスは、一組の所定の距離のうちの１つであるＭＶオフセットの大きさを示す距離インデックスと、一組の所定の方向のうちの１つであるＭＶオフセットの方向を示す方向インデックスとを含む。上記一組の所定の距離及び上記一組の所定の方向は、マージ動きベクトル差（ＭＭＶＤ）モードで使用される。

【0201】

そして、プロセス（２０００）は（Ｓ２０９９）に進んで終了する。

【0202】

プロセス（２０００）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（２０００）のステップを調整することができる。プロセス（２０００）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（２０００）を実施し得る。更なる（１つ以上の）ステップが追加され得る。

【0203】

図２１は、本開示の一実施形態に従った復号プロセス（２１００）を概説するフローチャートを示している。プロセス（２１００）はビデオデコーダにおいて使用されることができる。プロセス（２１００）は、受信回路及び処理回路を含むことができるビデオコーディングのための装置によって実行されることができる。様々な実施形態において、プロセス（２１００）は、例えば、端末装置（３１０）、（３２０）、（３３０）及び（３４０）の処理回路、ビデオエンコーダ（４０３）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、ビデオデコーダ（５１０）の機能を実行する処理回路ビデオエンコーダ（６０３）の機能を実行する処理回路、及びこれらに類するものなどの、処理回路によって実行される。一部の実施形態において、プロセス（２１００）は、ソフトウェア命令にて実装され、従って、処理回路がソフトウェア命令を実行するときに、処理回路がプロセス（２１００）を実行する。当該プロセスは（Ｓ２１０１）で開始して（Ｓ２１１０）に進む。

【0204】

（Ｓ２１１０）にて、現在ピクチャ内の現在ブロックの動きベクトル（ＭＶ）オフセット情報が符号化ビデオビットストリームから受信され得る。現在ブロックは、サブブロックベース時間動きベクトル予測（ＳｂＴＭＶＰ）モードを使用して再構成される複数のサブブロックを含む。

【0205】

（Ｓ２１２０）にて、例えば図１６－図１７にて説明したように、現在ブロックの変位ベクトル（ＤＶ）が決定され得る。ＤＶは、現在ブロックとコロケートであるコロケート参照ピクチャ内のブロックを示すことができる。該ブロックは、現在ブロックのコロケートブロックと称され得る。

【0206】

（Ｓ２１３０）にて、例えば図１６－図１７にて説明したように、上記複数のサブブロックのうちのサブブロックの動き情報が、コロケートブロック内の対応するサブブロックの動き情報に基づいて決定され得る。

【0207】

（Ｓ２１４０）にて、上記複数のサブブロックのうちの上記サブブロックの動き情報と、ＭＶオフセット情報によって示される現在ブロックのＭＶオフセットとに基づいて、上記複数のサブブロックのうちの上記サブブロックの更新された動き情報が決定され得る。

【0208】

一例において、ＭＶオフセット情報は、符号化ビデオビットストリーム内でシグナリングされるＭＶオフセットを含む。

【0209】

【0210】

【0211】

【0212】

（Ｓ２１５０）にて、上記複数のサブブロックのうちの上記サブブロックが、更新された動き情報に基づいて再構成され得る。

【0213】

そして、プロセス（２１００）は（Ｓ２１９９）に進んで終了する。

【0214】

プロセス（２１００）は、様々なシナリオに対して好適に適応されることができ、それに従ってプロセス（２１００）のステップを調整することができる。プロセス（２１００）のステップのうちの１つ以上が、適応され、省略され、反復され、及び／又は組み合わされ得る。任意の好適な順序を用いてプロセス（２１００）を実施し得る。更なる（１つ以上の）ステップが追加され得る。

【0215】

上述の技術は、１つ以上のコンピュータ読み取り可能媒体に物理的に格納された、コンピュータ読み取り可能命令を用いたコンピュータソフトウェアとして、実装されることができる。例えば、図２２は、開示に係る事項の特定の実施形態を実装するのに好適なコンピュータシステム（２２００）を示している。

【0216】

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク、又は同様の機構に掛けられることで、直接的に又はインタープリット、マイクロコード実行及びこれらに類するものを介して１つ以上のコンピュータ中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、及びこれらに類するものによって実行されることが可能な命令を有するコードを作り出し得るような、任意の好適な機械コード又はコンピュータ言語を用いてコード化され得る。

【0217】

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、及びこれらに類するものを含め、様々なタイプのコンピュータ又はそのコンポーネント上で実行され得る。

【0218】

コンピュータシステム（２２００）に関して図２２に示したコンポーネントは、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能性の範囲についての何らかの限定を示唆する意図はない。また、コンポーネントの構成も、コンピュータシステム（２２００）のこの例示的な実施形態に示されたコンポーネントの任意の１つ又は組み合わせに関する何らかの従属性又は要件も持つものとして解釈されるべきでない。

【0219】

コンピュータシステム（２２００）は、特定のヒューマンインタフェース入力装置を含んでもよい。そのようなヒューマンインタフェース入力装置は、例えば、触覚入力（例えば、キーストローク、スワイプ、データグローブを動かすことなど）、オーディオ入力（例えば、音声、拍手など）、視覚入力（例えば、ジェスチャなど）、嗅覚入力（図示せず）を介した、一人以上の人間ユーザによる入力に応答し得る。ヒューマンインタフェース装置はまた、例えばオーディオ（例えば、会話、音楽、周囲の音など）、画像（例えば、走査画像、静止画カメラから得られる写真画像など）、映像（例えば、二次元映像、立体視映像を含む３次元映像など）などの、人間による意識的な入力には必ずしも直接関係しない特定の媒体を捕捉するために使用されてもよい。

【0220】

入力ヒューマンインタフェース装置は、キーボード（２２０１）、マウス（２２０２）、トラックパッド（２２０３）、タッチスクリーン（２２１０）、データグローブ（図示せず）、ジョイスティック（２２０５）、マイクロフォン（２２０６）、スキャナ（２２０７）、カメラ（２２０８）（各々１つのみ図示している）のうちの１つ以上を含み得る。

【0221】

コンピュータシステム（２２００）はまた、特定のヒューマンインタフェース出力装置を含み得る。そのようなヒューマンインタフェース出力装置は、例えば、触覚出力、音、光、及び臭い／味を通して、一人以上の人間ユーザの感覚を刺激し得る。そのようなヒューマンインタフェース出力装置は、触覚出力装置（例えば、タッチスクリーン（２２１０）、データグローブ（図示せず）、又はジョイスティック（２２０５）による触覚フィードバックであるが、入力装置として機能しない触覚フィードバック装置もあってもよい）、オーディオ出力装置（例えば、スピーカー（２２０９）、ヘッドフォン（図示せず）など）、視覚出力装置（例えば、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（２２１０）（各々がタッチスクリーン入力機能を有する又は有さない。各々が触覚フィードバック機能を有する又は有さない。これらの一部は、二次元の視覚出力、又は例えば立体視出力などの手段を通じて四次元以上の出力を出力することができるとし得る。）、仮想現実グラス（図示せず）、ホログラフィックディスプレイ及びスモークタンク（図示せず）など）、及びプリンタ（図示せず）を含み得る。

【0222】

コンピュータシステム（２２００）はまた、例えば、ＣＤ／ＤＶＤ若しくは類似の媒体（２２２１）を有するＣＤ／ＤＶＤＲＯＭ／ＲＷ（２２２０）を含む光媒体、サムドライブ（２２２２）、取り外し可能なハードドライブ若しくは又はソリッドステートドライブ（２２２３）、例えばテープ及びフロッピーディスク（登録商標、図示せず）などのレガシー磁気媒体、例えばセキュリティドングルなどの特殊化されたＲＯＭ／ＡＳＩＣ／ＰＬＤベースの装置（図示せず）、及びこれらに類するものなどの、人間アクセス可能なストレージ装置及びそれらの関連媒体を含み得る。

【0223】

当業者がこれまた理解するはずのことには、ここでの開示に係る事項に関連して使用される用語“コンピュータ読み取り可能媒体”は、伝送媒体、搬送波、又は他の一時的な信号を含まない。

【0224】

コンピュータシステム（２２００）はまた、１つ以上の通信ネットワーク（２２５５）へのインタフェース（２２５４）を含み得る。ネットワークは、例えば、無線、有線、光とし得る。ネットワークは更に、ローカル、広域、大都市、車両及び産業、リアルタイム、耐遅延などとし得る。ネットワークの例は、例えばイーサネット（登録商標）などのローカルエリアネットワークや、無線ＬＡＮや、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及びこれらに類するものを含むセルラネットワークや、ケーブルＴＶ、衛星ＴＶ、及び地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワークや、ＣＡＮＢｕｓを含む車両及び産業などを含む。特定のネットワークは一般に、特定の汎用データポート又はペリフェラルバス（２２４９）（例えば、コンピュータシステム（２２００）のＵＳＢポートなど）に取り付けられる外付けネットワークインタフェースアダプタを必要とし、他のものは一般に、後述のシステムバスへの取り付けによってコンピュータシステム（２２００）のコアに統合される（例えば、ＰＣコンピュータシステムへのイーサネットインタフェース、又はスマートフォンコンピュータシステムへのセルラネットワークインタフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（２２００）は、他のエンティティと通信することができる。そのような通信は、単方向の受信のみ（例えば、放送ＴＶ）であってもよいし、単方向の送信のみ（例えば、特定のＣＡＮｂｕｓ装置に対するＣＡＮｂｕｓ）であってもよいし、あるいは、例えばローカル又は広域デジタルネットワークを用いた他のコンピュータシステムに対しての、双方向であってもよい。特定のプロトコル及びプロトコルスタックが、上述のようにネットワーク及びネットワークインタフェースの各々上で使用され得る。

【0225】

前述のヒューマンインタフェース装置、人間アクセス可能なストレージ装置、及びネットワークインタフェースは、コンピュータシステム（２２００）のコア（２２４０）に取り付けられることができる。

【0226】

コア（２２４０）は、１つ以上の中央演算処理ユニット（ＣＰＵ）（２２４１）、グラフィックス処理ユニット（ＧＰＵ）（２２４２）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）（２２４３）の形態の特殊なプログラム可能なプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ（２２４４）、グラフィックスアダプタ（２２５０）などを含み得る。これらのデバイスは、読み出し専用メモリ（ＲＯＭ）（２２４５）、ランダムアクセスメモリ（２２４６）、例えば内部のユーザアクセス可能でないハードドライブ、ＳＳＤなどの内部大容量ストレージ（２２４７）、及びこれらに類するもの（２２４７）と共に、システムバス（２２４８）を介して接続され得る。一部のコンピュータシステムにおいて、システムバス（２２４８）は、追加のＣＰＵ、ＧＰＵ、及びこれらに類するものによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能にされ得る。周辺装置は、コアのシステムバス（２２４８）に直接的に、又はペリフェラルバス（２２４９）を介して、のいずれで取り付けられてもよい。一例において、スクリーン（２２１０）はグラフィックスアダプタ（２２５０）に接続されることができる。ペリフェラルバスのアーキテクチャは、ＰＣＩ、ＵＳＢ、及びこれらに類するものを含む。

【0227】

ＣＰＵ（２２４１）、ＧＰＵ（２２４２）、ＦＰＧＡ（２２４３）、及びアクセラレータ（２２４４）は、組み合わさって前述のコンピュータコードを構成することができる特定の命令を実行し得る。そのコンピュータコードは、ＲＯＭ（２２４５）又はＲＡＭ（２２４６）に格納され得る。ＲＡＭ（２２４６）には過渡的なデータも格納されることができ、永久的なデータは、例えば内部大容量ストレージ（２２４７）に格納されることができる。メモリデバイスのいずれかへの高速な記憶及び取り出しが、１つ以上のＣＰＵ（２２４１）、ＧＰＵ（２２４２）、大容量ストレージ（２２４７）、ＲＯＭ（２２４５）、ＲＡＭ（２２４６）、及びこれらに類するものの近くに付随し得るキャッシュメモリの使用によって可能にされ得る。

【0228】

コンピュータ読み取り可能媒体はその上に、様々なコンピュータ実装処理を実行するためのコンピュータコードを有することができる。媒体及びコンピュータコードは、本開示の目的に合わせて特別に設計及び構築されたものであってもよいし、あるいは、それらは、コンピュータソフトウェア技術の当業者にとって周知且つ利用可能な種類のものであってもよい。

【0229】

一例として、限定ではなく、アーキテクチャ（２２００）、特にコア（２２４０）、を有するコンピュータシステムは、１つ以上の有形のコンピュータ読み取り可能媒体に具現化されたソフトウェアを（１つ以上の）プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、及びこれらに類するものを含む）が実行することの結果として機能を提供することができる。そのようなコンピュータ読み取り可能媒体は、例えばコア内部の大容量ストレージ（２２４７）又はＲＯＭ（２２４５）などの、非一時的性質のものであるコア（２２４０）の特定のストレージ、及び上で紹介したようなユーザアクセス可能な大容量ストレージに関連する媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア（２２４０）によって実行されることができる。コンピュータ読み取り可能媒体は、具体的なニーズに従って、１つ以上のメモリデバイス又はチップを含み得る。ソフトウェアは、コア（２２４０）及び特にその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、及びこれらに類するものを含む）に、ＲＡＭ（２２４６）に格納されるデータ構造を規定すること、及びそのようなデータ構造を、ソフトウェアによって規定されたプロセスに従って変更することを含めて、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行させることができる。加えて、又は代替として、コンピュータシステムは、ここに記載された特定のプロセスを又は特定のプロセスの特定の部分を実行するようにソフトウェアの代わりに又はソフトウェアと共に動作することができる回路（例えば、アクセラレータ（２２４４））にて配線された又はその他の方法で具体化されたロジックの結果として、機能を提供してもよい。ソフトウェアへの言及はロジックを含み、また、適当な場合にその逆もまた然りである。コンピュータ読み取り可能媒体への言及は、実行のためのソフトウェアを格納した回路（例えば、集積回路（ＩＣ）など）、実行のためのロジックを具体化した回路、又は適当な場合にこれら双方を含み得る。本開示は、ハードウェア及びソフトウェアの好適な組み合わせを含む
付録Ａ：頭字語
ＪＥＭ：joint exploration model（共同探査モデル）
ＶＶＣ：versatile video coding（バーサタイルビデオコーディング）
ＢＭＳ：benchmark set（ベンチマークセット）
ＭＶ：Motion Vector（動きベクトル）
ＨＥＶＣ：High Efficiency Video Coding（ハイエフィシェンシビデオコーディング）
ＳＥＩ：Supplementary Enhancement Information（補足強化情報）
ＶＵＩ：Video Usability Information（ビデオユーザビリティ情報）
ＧＯＰｓ：Groups of Pictures（グループ・オブ・ピクチャ）
ＴＵｓ：Transform Units,（変換ユニット）
ＰＵ：Prediction Units（予測ユニット）
ＣＴＵｓ：Coding Tree Units（コーディングツリーユニット）
ＣＴＢｓ：Coding Tree Blocks（コーディングツリーブロック）
ＰＢｓ：Prediction Blocks（予測ブロック）
ＨＲＤ：ＨｙｐｏｔｈｅｔｉｃａｌＲｅｆｅｒｅｎｃｅＤｅｃｏｄｅｒ（仮説的リファレンスデコーダ）
ＳＮＲ：Signal Noise Ratio（信号対雑音比）
ＣＰＵｓ：Central Processing Units（中央演算処理ユニット）
ＧＰＵｓ：Graphics Processing Units（グラフィックス処理ユニット）
ＣＲＴ：Cathode Ray Tube（陰極線管）
ＬＣＤ：Liquid-Crystal Display（液晶ディスプレイ）
ＯＬＥＤ：Organic Light-Emitting Diode（有機発光ダイオード）
ＣＤ：Compact Disc（コンパクトディスク）
ＤＶＤ：Digital Video Disc（デジタルビデオディスク）
ＲＯＭ：Read-Only Memory（読み出し専用メモリ）
ＲＡＭ：Random Access Memory（ランダムアクセスメモリ）
ＡＳＩＣ：Application-Specific Integrated Circuit（特定用途向け集積回路）
ＰＬＤ：Programmable Logic Device（プログラマブルロジックデバイス）
ＬＡＮ：Local Area Network（ローカルエリアネットワーク）
ＧＳＭ：Global System for Mobile communications（グローバルシステムフォーモバイルコミュニケーションズ）
ＬＴＥ：Long-Term Evolution（ロングタームエボリューション）
ＣＡＮＢｕｓ：Controller Area Network Bus（コントローラエリアネットワークバス）
ＵＳＢ：Universal Serial Bus（ユニバーサルシリアルバス）
ＰＣＩ：Peripheral Component Interconnect（ペリフェラルコンポーネントインターコネクト）
ＦＰＧＡ：Field Programmable Gate Areas（フィールドプログラマブルゲートアレイ）
ＳＳＤ：solid-state drive（ソリッドステートドライブ）
ＩＣ：Integrated Circuit（集積回路）
ＣＵ：Coding Unit（コーディングユニット）

【0230】

この開示は幾つかの例示的な実施形態を記述しているが、開示の範囲に入る変更、置換、及び様々な均等な代替が存在する。従って、理解されることには、当業者は、ここでは明示的に図示されたり説明されたりしていないものの、開示の原理を具体化し、それ故に、その精神及び範囲の中にあるような、数多くのシステム及び方法を考案することができるであろう。

【図1A】