特表2024-546498 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 鴻穎創新有限公司の特許一覧

特表2024-546498ビデオデータをデコードする装置および方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5A
5B
5C
6
7
8
9A
9B
10

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-24

(54)【発明の名称】ビデオデータをデコードする装置および方法

(51)【国際特許分類】

H04N 19/52 20140101AFI20241217BHJP

H04N 19/105 20140101ALI20241217BHJP

H04N 19/139 20140101ALI20241217BHJP

【ＦＩ】

H04N19/52

H04N19/105

H04N19/139

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024535855

(86)(22)【出願日】2022-12-15

(85)【翻訳文提出日】2024-06-14

(86)【国際出願番号】 CN2022139281

(87)【国際公開番号】W WO2023109899

(87)【国際公開日】2023-06-22

(31)【優先権主張番号】63/265,442

(32)【優先日】2021-12-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/265,777

(32)【優先日】2021-12-20

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．３ＧＰＰ

(71)【出願人】

【識別番号】518446879

【氏名又は名称】鴻穎創新有限公司

【氏名又は名称原語表記】ＦＧＩＮＮＯＶＡＴＩＯＮＣＯＭＰＡＮＹＬＩＭＩＴＥＤ

【住所又は居所原語表記】Ｆｌａｔ２６２３，２６／ＦＴｕｅｎＭｕｎＣｅｎｔｒａｌＳｑｕａｒｅ，２２ＨｏｉＷｉｎｇＲｏａｄ，ＴｕｅｎＭｕｎ，ＮｅｗＴｅｒｒｉｔｏｒｉｅｓ，ＴｈｅＨｏｎｇＫｏｎｇＳｐｅｃｉａｌＡｄｍｉｎｉｓｔｒａｔｉｖｅＲｅｇｉｏｎｏｆｔｈｅＰｅｏｐｌｅ’ｓＲｅｐｕｂｌｉｃｏｆＣｈｉｎａ

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人ＨＡＲＡＫＥＮＺＯＷＯＲＬＤＰＡＴＥＮＴ＆ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】ヤン，ユチァオ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159NN11

5C159RC12

5C159RC16

5C159RC38

5C159TA30

5C159TB08

5C159TC12

(57)【要約】

電子装置によるビデオデータのデコード方法が提供される。電子装置は、ビデオデータを受信し、ビデオデータに従って画像フレームからブロックユニットを決定する。さらに、電子装置は、ブロックユニットに隣接しない少なくとも１つの非隣接位置を含む複数の候補位置を決定し、候補位置から複数の動き候補を決定する。電子装置は、さらに、動き候補に基づいて、ビデオデータに含まれる１つ以上のコロケーティッドフレーム（コロケーティッドブロック）のうちの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択し、コロケーティッドブロックのそれぞれについて第１のコスト値を決定する。次に、電子装置は、動き候補及び第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定し、少なくとも１つのＳｂＴＭＶＰ候補に基づいて、ブロックユニットを再構成する。

【特許請求の範囲】

【請求項1】

電子装置によってビデオデータをデコードする方法であって、
前記ビデオデータを受信するステップ、
前記ビデオデータに従って、画像フレームからブロックユニットを決定するステップ、
前記ブロックユニットに隣接しない少なくとも１つの非隣接位置を含む複数の候補位置を決定するステップ、
前記複数の候補位置から複数の動き候補を決定するステップ、
前記複数の動き候補に基づいて、前記ビデオデータに含まれる１つまたは複数のコロケーティッド（collocated）フレームの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択するステップ、
前記複数のコロケーティッドブロックのそれぞれについて、第１のコスト値を決定するステップ、
前記複数の動き候補および前記複数の第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定するステップ、および、
前記少なくとも１つのＳｂＴＭＶＰ候補に基づいて前記ブロックユニットを再構築するステップ、を含む方法。

【請求項2】

前記複数の候補位置は、前記ブロックユニットに隣接する複数の隣接位置のうちの少なくとも１つをさらに含む、請求項１に記載の方法。

【請求項3】

前記画像フレームから、前記複数の候補位置に基づいて、前記ブロックユニットに隣接（neighboring）する複数の近傍ブロックを決定するステップであって、前記複数の近傍ブロックの少なくとも１つは、前記少なくとも１つの非隣接位置の１つをカバーする、ステップ、
前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域と、前記複数の近傍ブロックのうちの１つにそれぞれ隣接する複数の近傍領域とを決定するステップ、
前記テンプレート領域と前記複数の近傍領域のそれぞれに基づいて、第２のコスト値を決定するステップ、
前記複数の第２のコスト値に基づいて複数の候補ブロックを選択するステップ、および
前記複数の候補ブロックから前記複数の動き候補を決定するステップ、
をさらに含む、請求項１に記載の方法。

【請求項4】

前記複数の動き候補の各々は、前記複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、
特定の候補ブロックの前記フレーム情報内のフレームインデックスが、少なくとも１つの所定の値の１つに等しい場合、前記特定の候補ブロックのリスト情報が示す基準リストから選択された前記特定の候補ブロックの基準フレームは、前記１つ以上のコロケーティッドフレームに含まれる、請求項１に記載の方法。

【請求項5】

前記複数のコロケーティッドブロックのうちの１つが、前記動きベクトルおよび前記複数の候補位置のうちの対応する１つに基づいて、前記特定の候補ブロックの前記基準フレームから選択される、請求項４に記載の方法。

【請求項6】

前記特定の候補ブロックの前記フレーム情報内の前記フレームインデックスが少なくとも１つの所定の値と異なる場合、前記特定の候補ブロックの前記基準フレームが前記１つまたは複数のコロケーティッドフレームから除外される、請求項４に記載の方法。

【請求項7】

前記複数の動き候補の各々は、前記複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、
前記特定の候補ブロックが双予測ブロックである場合、前記特定の候補ブロックの少なくとも１つの基準フレームは、前記特定の候補ブロックの２つの基準リストから決定され、
前記特定の候補ブロックの前記フレーム情報に含まれる２つのフレームインデックスのうちの１つが、少なくとも１つの所定の値のうちの１つに等しい場合、前記少なくとも１つの基準フレームは、前記１つまたは複数のコロケーティッドフレームに含まれる、請求項１に記載の方法。

【請求項8】

前記少なくとも１つのＳｂＴＭＶＰ候補を候補リストに追加するステップ、
予測インデックスに基づいて前記候補リストから予測候補を選択するステップ、および、
予測モードに基づいて前記ブロックユニットを再構成するステップ、
をさらに含む、請求項１に記載の方法。

【請求項9】

前記複数のコロケーティッドブロックは、複数のコロケーティッドフレームから選択される、請求項１に記載の方法。

【請求項10】

前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域を決定し、前記１つまたは複数のコロケーティッドフレームから、前記複数のコロケーティッドブロックのうちの１つにそれぞれ隣接する複数のコロケーティッド領域を決定するステップ、および、
前記テンプレート領域と前記複数のコロケーティッド領域の各々との間の前記第１のコスト値を決定するステップ、
をさらに含む、請求項１に記載の方法。

【請求項11】

ビデオデータをデコードするための電子装置であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに結合され、前記少なくとも１つのプロセッサによって実行されるとき、前記電子装置に、
前記ビデオデータを受信し、
前記ビデオデータに従って、画像フレームからブロックユニットを決定し、
前記ブロックユニットに隣接していない少なくとも１つの非隣接位置を含む複数の候補位置を決定し、
前記複数の候補位置から複数の動き候補を決定し、
前記複数の動き候補に基づいて、前記ビデオデータに含まれる１つまたは複数のコロケーティッドフレームの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択し、
前記複数のコロケーティッドブロックのそれぞれについて、第１のコスト値を決定し、
前記複数の動き候補および前記複数の第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定し、
前記少なくとも１つのＳｂＴＭＶＰ候補に基づいて前記ブロックユニットを再構築する、ことを実行させる複数のコンピュータ実行可能命令を記憶する少なくとも１つの記憶デバイスと、を備える、電子装置。

【請求項12】

前記複数の候補位置は、前記ブロックユニットに隣接する複数の隣接位置のうちの少なくとも１つをさらに含む、請求項１０に記載の電子装置。

【請求項13】

前記複数のコンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されるとき、前記電子装置にさらに、
前記画像フレームから、前記複数の候補位置に基づいて、前記ブロックユニットに隣接する複数の近傍ブロックを決定し、
前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域と、前記複数の近傍ブロックのうちの１つにそれぞれ隣接する複数の近傍領域とを決定し、
前記テンプレート領域と前記複数の近傍領域のそれぞれに基づいて、第２のコスト値を決定し、
前記複数の第２のコスト値に基づいて複数の候補ブロックを選択し、
前記複数の候補ブロックから前記複数の動き候補を決定する、ことを実行させ、
前記複数の近傍ブロックのうちの少なくとも１つは、前記少なくとも１つの非隣接位置のうちの１つをカバーする、請求項１０に記載の電子装置。

【請求項14】

前記複数の動き候補の各々は、前記複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、
特定の候補ブロックの前記フレーム情報内のフレームインデックスが、少なくとも１つの所定の値の１つに等しい場合、前記特定の候補ブロックのリスト情報が示す基準リストから選択された前記特定の１つの候補ブロックの基準フレームは、前記１つ以上のコロケーティッドフレームに含まれる、請求項１０に記載の電子装置

【請求項15】

前記複数のコロケーティッドブロックのうちの１つは、前記動きベクトルおよび前記複数の候補位置のうちの対応する１つに基づいて、前記特定の候補ブロックの前記基準フレームから選択される、請求項１４に記載の電子装置。

【請求項16】

前記特定の候補ブロックの前記フレーム情報における前記フレームインデックスが少なくとも１つの所定の値と異なる場合に、前記特定の候補ブロックの前記基準フレームが前記１つまたは複数のコロケーティッドフレームから除外される、請求項１４に記載の電子装置。

【請求項17】

前記複数の動き候補の各々は、前記複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、
特定の候補ブロックが双予測ブロックである場合、前記候補ブロックの特定の１つの少なくとも１つの基準フレームは、前記特定の候補ブロックの２つの基準リストから決定され、
前記特定の候補ブロックの前記フレーム情報に含まれる２つのフレームインデックスのうちの１つが、少なくとも１つの所定の値のうちの１つに等しい場合、前記少なくとも１つの基準フレームは、前記１つまたは複数のコロケーティッドフレームに含まれる、請求項１０に記載の電子装置

【請求項18】

前記複数のコンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されるとき、前記電子装置にさらに、
前記少なくとも１つのＳｂＴＭＶＰ候補を候補リストに追加し、
予測インデックスに基づいて前記候補リストから予測候補を選択し、
予測モードに基づいて前記ブロックユニットを再構成することを実行させる、請求項１０に記載の電子装置。

【請求項19】

前記複数のコロケーティッドブロックは、複数のコロケーティッドフレームから選択される、請求項１０に記載の電子装置。

【請求項20】

前記複数のコンピュータ実行可能命令は、前記少なくとも１つのプロセッサによって実行されるとき、前記電子装置にさらに、
前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域を決定し、前記１つまたは複数のコロケーティッドフレームから、前記複数のコロケーティッドブロックのうちの１つにそれぞれ隣接する複数のコロケーティッド領域を決定し、
前記テンプレート領域と前記複数のコロケーティッド領域の各々との間の前記第１のコスト値を決定することを実行させる、請求項１０に記載の電子装置。

【発明の詳細な説明】

【0001】

〔技術分野〕
本開示は、「ＴＥＭＰＯＲＡＬ－ＢＡＳＥＤＰＲＥＤＩＣＴＩＯＮＴＯＯＬＳ」と題する、２０２１年１２月１５日に出願された米国仮特許出願シリアル番号６３／２６５４４２、および「ＳＵＢＢＬＯＣＫＴＭＶＰＩＭＰＲＯＶＥＭＥＮＴＢＡＳＥＤＯＮＴＥＭＰＬＡＴＥＭＡＴＣＨＩＮＧ」と題する、２０２１年１２月２０日に出願された米国仮特許出願シリアル番号６３／２６５７７７の利益および優先権を主張し、これらの内容は、参照により本開示に完全に組み込まれる。

【0002】

本開示は、一般にビデオデコーディングに関するものであり、より具体的には、テンプレート予測を使用する技術に関するものである。

【0003】

〔背景技術〕
サブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）は、ビデオコーディングのためのコーディングツールである。従来のビデオコーディング方法において、エンコーダとデコーダは、画像フレーム内の候補ブロックに対して、コロケーティッドフレーム内のコロケーティッドブロックを決定し、候補ブロックを予測するための複数のＳｂＴＭＶＰ候補のうちの１つを生成することができる。

【0004】

エンコーダ及びデコーダは、コロケーティッドブロックを複数のコロケーティッドサブブロックに分割し、コロケーティッドブロックの動き情報を用いて、コロケーティッドブロック内のコロケーティッドサブブロックに対する複数の第１のサブブロックベクトルＶｓ１を決定してもよい。次に、エンコーダおよびデコーダは、候補ブロックを複数のターゲットサブブロックに分割し、コロケーティッドサブブロックの第１のサブブロックベクトルＶｓ１に基づいて、ブロックユニット内のターゲットサブブロックのための複数の第２のサブブロックベクトルＶｓ２を導出してもよい。第２のサブブロックベクトルＶｓ２の各々は、第１のサブブロックベクトルＶｓ１の対応する１つと、画像フレームとブロックユニットの基準フレームとの間の基準距離と、コロケーティッドフレームとコロケーティッドブロックのコロケーティッド基準フレームとの間のコロケーティッド距離とに基づいて導出され得る。

【0005】

しかし、候補ブロックのＳｂＴＭＶＰ候補は、収集順序に基づいて配置されているだけであるため、ＳｂＴＭＶＰ候補を用いて候補ブロックを予測する場合、選択されたＳｂＴＭＶＰ候補を決定するためのインデックスをシグナリングするためのコーディング効率が十分に高くならない可能性がある。したがって、エンコーダとデコーダは、候補ブロックをより正確に予測または再構成するために、新たなＳｂＴＭＶＰを必要とする場合がある。
〔概要〕

【0006】

本開示は、テンプレート予測を用いて画像フレーム内のブロックユニットを予測する装置及び方法に向けられている。

【0007】

本開示の第１の態様では、ビデオデータをデコードする方法と、その方法を実行するための電子装置が提供される。本方法は、ビデオデータを受信するステップ、前記ビデオデータに従って画像フレームからブロックユニットを決定するステップ、ブロックユニットに隣接しない少なくとも１つの非隣接位置を含む複数の候補位置を決定するステップ、前記複数の候補位置から複数の動き候補を決定するステップ、前記複数の動き候補に基づいて、前記ビデオデータに含まれる１つまたは複数のコロケーティッドフレームのうちの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択するステップ、前記複数のコロケーティッドブロックのそれぞれについて第１のコスト値を決定するステップ、複数の動き候補および複数の第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定するステップ、および、前記少なくとも１つのＳｂＴＭＶＰ候補に基づいて、ブロックユニットを再構成するステップ、を含む。

【0008】

第１の態様の別の実施形態において、前記複数の候補位置は、ブロックユニットに隣接する複数の隣接位置のうちの少なくとも１つをさらに含む。

【0009】

第１の態様の実施形態は、前記画像フレームから、前記複数の候補位置に基づいて、前記ブロックユニットに隣接する複数の近傍ブロックを決定するステップであって、前記複数の近傍ブロックのうちの少なくとも１つが、前記少なくとも１つの非隣接位置のうちの１つをカバーするステップ、前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域と、複数の近傍ブロックのうちの１つにそれぞれ隣接する複数の隣接領域とを決定するステップと、前記テンプレート領域と前記複数の近傍領域のそれぞれとに基づいて第２のコスト値を決定するステップと、前記複数の第２のコスト値に基づいて複数の候補ブロックを選択するステップと、前記複数の候補ブロックから前記複数の動き候補を決定するステップと、をさらに含む。

【0010】

第１の態様の別の実施形態では、複数の動き候補の各々は、前記複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、特定の候補ブロックのフレーム情報におけるフレームインデックスが少なくとも１つの所定の値のうちの１つに等しい場合、特定の候補ブロックのリスト情報によって示される基準リストから選択される候補ブロックのうちの特定の１つの基準フレームが、１つまたは複数のコロケーティッドフレームに含まれる。

【0011】

第１の態様の別の実施形態では、複数のコロケーティッドブロックのうちの１つが、動きベクトルと複数の候補位置のうちの対応する１つとに基づいて、特定の候補ブロックの基準フレームから選択される。

【0012】

第１の態様の別の実施形態では、特定の候補ブロックのフレーム情報のフレームインデックスが少なくとも１つの所定の値と異なる場合、特定の候補ブロックの基準フレームは、１つまたは複数のコロケーティッドフレームから除外される。

【0013】

第１の態様の別の実施形態では、複数の動き候補の各々は、複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示し、候補ブロックのうちの特定の１つの少なくとも１つの基準フレームは、特定の候補ブロックが双予測ブロックである場合、特定の候補ブロックの２つの基準リストから決定され、特定の候補ブロックのフレーム情報内の２つのフレームインデックスのうちの１つが少なくとも１つの所定の値のうちの１つに等しい場合、前記少なくとも１つの基準フレームは、前記１つまたは複数のコロケーティッドフレームに含まれる。

【0014】

第１の態様の実施形態は、前記少なくとも１つのＳｂＴＭＶＰ候補を候補リストに追加するステップと、予測インデックスに基づいて候補リストから予測候補を選択するステップと、前記予測モードに基づいて前記ブロックユニットを再構成するステップと、をさらに含む。

【0015】

第１の態様の別の実施形態では、前記複数のコロケーティッドブロックは、複数のコロケーティッドフレームから選択される。

【0016】

第１の態様の実施形態は、前記画像フレームから、前記ブロックユニットに隣接するテンプレート領域を決定し、１つ以上のコロケーティッドフレームから、複数のコロケーティッドブロックの内の１つにそれぞれ隣接する複数のコロケーティッド領域を決定するステップ、前記テンプレート領域と前記複数のコロケーティッド領域の各々との間の前記第１のコスト値を決定するステップと、をさらに含む。

【0017】

〔図面の簡単な説明〕
本開示の態様は、以下の詳細な開示および対応する図から最もよく理解される。様々な特徴は縮尺通りに描かれておらず、様々な特徴の寸法は、議論を明確にするために任意に増減される場合がある。
［図１］図１は、本開示の実施形態に従ってビデオデータをエンコードおよびデコードするように構成されたシステムのブロック図である。
［図２］図２は、本開示の実施形態による、図１に図示された第２の電子装置のデコーダモジュールのブロック図である。
［図３］図３は、本開示の実施形態による、電子装置によってビデオデータをデコードする方法のフローチャートを示す。
［図４］図４は、本開示の一実施形態によるブロックと複数の候補位置の例示的な実施態を示す説明図である。
［図５］図５Ａ、図５Ｂ、および図５Ｃは、本開示の一実施形態によるテンプレート領域および異なる近傍領域の例示的な実施態を示す図である。
［図６］図６は、本開示の一実施形態による、ブロックユニット及びテンプレート領域を有する画像フレーム、並びに、コロケーティッドブロック及びコロケーティッド領域を有するコロケーティッドフレームの例示的な実施態を示す説明図である。
［図７］図７は、本開示の一実施形態による、ブロックユニット及びテンプレート領域を有する画像フレーム、並びに、コロケーティッドブロック、シフトブロック及びコロケーティッド領域を有するコロケーティッドフレームの例示的な実施態を示す説明図である。
［図８］図８は、本開示の実施形態による、電子装置によってビデオデータをデコードする方法のフローチャートを示す。
［図９］図９Ａおよび図９Ｂは、本開示の実施形態によるテンプレート領域および基準領域の例示的な実施態を示す図である。
［図１０］図１０は、本開示の実施形態による、図１に示される第１の電子装置のエンコーダモジュールのブロック図である。

【発明を実施するための形態】

【0018】

以下の開示は、本開示における実施に関連する具体的な情報を含む。図および対応する詳細な開示は、例示的な実施形態に向けられている。しかしながら、本開示はこれらの例示的な実施形態に限定されるものではない。本開示の他の変形例および例示的な実施態は、当業者に生じるであろう。

【0019】

特に断りのない限り、図中の同様の要素または対応する要素は、同様の基準指定子または対応する基準指定子で示すことができる。本開示における図および図示は、一般に縮尺通りではなく、実際の相対寸法に対応することを意図していない。

【0020】

一貫性と理解を容易にする目的で、例示的な図では、同様の特徴が基準指定子によって（いくつかの例示的な実施態では図示されていないが）特定されている。しかしながら、異なる実施形態における特徴は、他の点で異なる可能性があり、図に例示されているものに狭く限定されないものとする。

【0021】

本開示では、「１つの実施形態において」または「いくつかの実施形態において」という表現を用いているが、これは、１つまたは複数の同じまたは異なる実施形態を指す場合がある。「結合」という用語は、直接的であるか間接的であるかを問わず、介在する構成要素を介して接続されていることを意味し、必ずしも物理的な接続に限定されない。ｃｏｍｐｒｉｓｉｎｇ」という用語は、「を含むが、必ずしもこれに限定されない」ことを意味し、具体的には、そのように記述された組合せ、グループ、シリーズ、および同等のものにおけるオープンエンドの包含またはメンバーシップを示す。

【0022】

説明および非限定を目的として、機能エンティティ、技術、プロトコル、および規格などの具体的な詳細は、開示される技術の理解を提供するために記載される。周知の方法、技術、システム、およびアーキテクチャの詳細な開示は、不必要な詳細によって本開示を不明瞭にしないために省略する。

【0023】

当業者であれば、本開示に記載される開示されたコード機能（複数可）またはアルゴリズム（複数可）は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせによって実装され得ることを認識するであろう。開示された機能は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組み合わせであるモジュールに対応してもよい。

【0024】

ソフトウェア実装は、メモリまたは他のタイプの記憶装置などのコンピュータ可読媒体上に記憶されたコンピュータ実行可能命令を有するプログラムを含むことができる。例えば、通信処理能力を有する１つまたは複数のマイクロプロセッサまたは汎用コンピュータは、実行可能命令でプログラムされ、開示された機能（複数可）またはアルゴリズム（複数可）を実行することができる。

【0025】

マイクロプロセッサまたは汎用コンピュータは、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックアレイ、および／または１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）を使用して形成することができる。開示された実装のいくつかは、コンピュータハードウェア上にインストールされ実行されるソフトウェアを指向しているが、ファームウェアとして、またはハードウェアとして、またはハードウェアとソフトウェアの組み合わせとして実装される代替的な実装は、本開示の範囲内にある。コンピュータ可読媒体には、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスクリードオンリーメモリ（ＣＤＲＯＭ）、磁気カセット、磁気テープ、磁気ディスクストレージ、またはコンピュータ可読命令を記憶することができる任意の他の等価媒体が含まれるが、これらに限定されない。

【0026】

図１は、本開示の実施形態に従ってビデオデータをエンコードおよびデコードするように構成されたシステム１００のブロック図を示す。システム１００は、第１の電子装置１１０、第２の電子装置１２０、および通信媒体１３０を含む。

【0027】

第１の電子装置１１０は、ビデオデータをエンコードし、エンコードされたビデオデータを通信媒体１３０に送信するように構成された任意のデバイスを含むソースデバイスであってもよい。第２の電子装置１２０は、通信媒体１３０を介してエンコードされたビデオデータを受信し、エンコードされたビデオデータをデコードするように構成された任意のデバイスを含む宛先デバイスであってもよい。

【0028】

第１の電子装置１１０は、通信媒体１３０を介して第２の電子装置１２０と有線または無線で通信することができる。第１の電子装置１１０は、ソースモジュール１１２、エンコーダモジュール１１４、および第１のインターフェース１１６を含んでもよい。第２の電子装置１２０は、ディスプレイモジュール１２２、デコーダモジュール１２４、および第２のインターフェース１２６を含んでもよい。第１の電子装置１１０はビデオエンコーダであってもよく、第２の電子装置１２０はビデオデコーダであってもよい。

【0029】

第１の電子装置１１０及び／又は第２の電子装置１２０は、携帯電話、タブレット、デスクトップ、ノートブック、又は他の電子装置であってもよい。図１は、第１の電子装置１１０及び第２の電子装置１２０の一例を示す。第１の電子装置１１０及び第２の電子装置１２０は、図示されているよりも多い又は少ない構成要素を含んでいてもよく、或いは、図示されている様々な構成要素の異なる構成を有していてもよい。

【0030】

ソースモジュール１１２は、新しいビデオをキャプチャするビデオキャプチャデバイス、以前にキャプチャされたビデオを保存するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するビデオフィードインターフェースを含んでもよい。ソースモジュール１１２は、ソースビデオとしてコンピュータグラフィックスベースのデータを生成してもよいし、ソースビデオとしてライブビデオ、アーカイブビデオ、およびコンピュータ生成ビデオの組み合わせを生成してもよい。ビデオキャプチャデバイスは、電荷結合素子（ＣＣＤ）イメージセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）イメージセンサ、またはカメラであってもよい。

【0031】

エンコーダモジュール１１４およびデコーダモジュール１２４はそれぞれ、１つまたは複数のマイクロプロセッサ、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、システムオンチップ（ＳｏＣ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせなど、さまざまな適切なエンコーダ／デコーダ回路のいずれかとして実装することができる。部分的にソフトウェアで実装される場合、デバイスは、ソフトウェアの命令を有するプログラムを適切な非一過性のコンピュータ読み取り可能媒体に格納し、開示された方法を実行するために１つまたは複数のプロセッサを使用してハードウェアで命令を実行することができる。エンコーダモジュール１１４およびデコーダモジュール１２４の各々は、それらのいずれかは、デバイス内の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合される１つまたは複数のエンコーダまたはデコーダに含まれてもよい。

【0032】

第１のインターフェース１１６および第２のインターフェース１２６は、カスタマイズされたプロトコル、または、これらに限定されないが、イーサネット、ＩＥＥＥ８０２．１１またはＩＥＥＥ８０２．１５シリーズ、ワイヤレスＵＳＢを含む既存の標準または事実上の標準、または、ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ）、Ｃｏｄｅ－ＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ２０００（ＣＤＭＡ２０００）、ＴｉｍｅＤｉｖｉｓｉｏｎＳｙｎｃｈｒｏｎｏｕｓＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ（ＴＤ－ＳＣＤＭＡ）、ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ（ＷｉＭＡＸ）、ＴｈｉｒｄＧｅｎｅｒａｔｉｏｎＰａｒｔｎｅｒｓｈｉｐＰｒｏｊｅｃｔＬｏｎｇ－ＴｅｒｍＥｖｏｌｕｔｉｏｎ（３ＧＰＰ－ＬＴＥ）、またはＴｉｍｅ－ＤｉｖｉｓｉｏｎＬＴＥ（ＴＤ－ＬＴＥ）を含むテレコミュニケーション標準（ただし、に限定されない）に従ってもよい。第１のインターフェース１１６および第２のインターフェース１２６はそれぞれ、通信媒体１３０を介して準拠ビデオビットストリームを送信および／または記憶し、通信媒体１３０を介して準拠ビデオビットストリームを受信するように構成された任意のデバイスを含み得る。

【0033】

第１のインターフェース１１６および第２のインターフェース１２６は、準拠ビデオビットストリームをストレージデバイスに格納すること、またはストレージデバイスから受信することを可能にするコンピュータシステムインターフェースを含むことができる。例えば、第１のインターフェース１１６および第２のインターフェース１２６は、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）およびＰＣＩｅ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔＥｘｐｒｅｓｓ）バスプロトコル、独自のバスプロトコル、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）プロトコル、Ｉ２Ｃ（Ｉｎｔｅｒ－ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）プロトコル、またはピアデバイスを相互接続するために使用され得る任意の他の論理的および物理的構造をサポートするチップセットを含み得る。

【0034】

ディスプレイモジュール１２２は、液晶ディスプレイ（ＬＣＤ）技術、プラズマディスプレイ技術、有機発光ダイオード（ＯＬＥＤ）ディスプレイ技術、または発光ポリマーディスプレイ（ＬＰＤ）技術を使用するディスプレイを含んでもよく、他の実装で使用される他のディスプレイ技術をともに含んでもよい。ディスプレイモジュール１２２は、高精細ディスプレイまたは超高精細ディスプレイを含んでもよい。

【0035】

図２は、本開示の実施形態による、図１に示された第２の電子装置１２０のデコーダモジュール１２４のブロック図である。デコーダモジュール１２４は、エントロピーデコーダ（例えば、エントロピーデコードユニット２２４１）と、予測プロセッサ（例えば、予測プロセスユニット２２４２）と、逆量子化／逆変換プロセッサ（例えば、逆量子化／逆変換ユニット２２４３）と、加算器（例えば、加算器２２４４）と、フィルタ（例えば、フィルタリングユニット２２４５）と、デコードピクチャバッファ（例えば、デコードピクチャバッファ２２４６）とを含む。予測プロセスユニット２２４２はさらに、イントラ予測プロセスユニット（例えばイントラ予測ユニット２２４２１）およびインター予測プロセスユニット（例えばインター予測ユニット２２４２２）を含む。デコーダモジュール１２４は、ビットストリームを受信し、ビットストリームをデコードして、デコードされたビデオを出力する。

【0036】

エントロピーデコードユニット２２４１は、図１の第２のインターフェース１２６から複数のシンタックス要素を含むビットストリームを受信し、ビットストリームに対して解析動作を実行して、ビットストリームからシンタックス要素を抽出してもよい。解析動作の一部として、エントロピーデコードユニット２２４１は、ビットストリームをエントロピーデコードして、量子化された変換係数、量子化パラメータ、変換データ、動きベクトル、イントラモード、パーティション情報、および他のシンタックス情報を生成してもよい。

【0037】

エントロピーデコードユニット２２４１は、量子化された変換係数を生成するために、コンテキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コーディング（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術コーディング（ＳＢＡＣ）、確率区間分割エントロピー（ＰＩＰＥ）コーディング、または別のエントロピーコーディング技法を実行してもよい。エントロピーデコードユニット２２４１は、量子化された変換係数、量子化パラメータ、および変換データを逆量子化／逆変換ユニット２２４３に提供し、動きベクトル、イントラモード、パーティション情報、および他のシンタックス情報を予測プロセスユニット２２４２に提供してもよい。

【0038】

予測プロセスユニット２２４２は、動きベクトル、イントラモード、パーティション情報などのシンタックス要素、およびその他のシンタックス情報をエントロピーデコードユニット２２４１から受信してもよい。予測プロセスユニット２２４２は、パーティション情報を含むシンタックス要素を受信し、パーティション情報に従って画像フレームを分割してもよい。

【0039】

画像フレームの各々は、パーティション情報に従って少なくとも１つの画像ブロックに分割されてもよい。少なくとも１つの画像ブロックは、複数のルミナンスサンプルを再構成するためのルミナンスブロックと、複数のクロミナンスサンプルを再構成するための少なくとも１つのクロミナンスブロックとを含んでよい。ルミナンスブロックおよび少なくとも１つのクロミナンスブロックは、マクロブロック、コーディングツリーユニット（ＣＴＵ）、コーディングブロック（ＣＢ）、その下位分割、および／または別の等価なコードユニットを生成するためにさらに分割されてもよい。

【0040】

デコード処理中、予測プロセスユニット２２４２は、画像フレームの特定の１つの現在の画像ブロックに対するイントラモードまたは動きベクトルを含む予測データを受信してもよい。現在の画像ブロックは、特定の画像フレームのルミナンスブロックまたはクロミナンスブロックの１つであってもよい。

【0041】

イントラ予測ユニット２２４２１は、予測ブロックを生成するために、イントラモードに関連するシンタックス要素に基づいて、現在のブロックユニットと同じフレーム内の１つまたは複数の近傍ブロックに対する現在のブロックユニットのイントラ予測エンコードを実行してもよい。イントラモードは、現在のフレーム内の近傍ブロックから選択された参照サンプルの位置を指定することができる。イントラ予測ユニット２２４２１は、クロマ成分が予測プロセスユニット２２４２によって再構成されるとき、現在のブロックユニットの複数のルーマ成分に基づいて、現在のブロックユニットの複数のクロマ成分を再構成してもよい。

【0042】

イントラ予測ユニット２２４２１は、予測プロセスユニット２２４２によって現在のブロックのルーマ成分が再構成されるとき、現在のブロックユニットの複数のルーマ成分に基づいて、現在のブロックユニットの複数のクロマ成分を再構成してもよい。

【0043】

インター予測ユニット２２４２２は、予測されたブロックを生成するために、動きベクトルに関連するシンタックス要素に基づいて、１つまたは複数の参照画像ブロック内の１つまたは複数のブロックに対する現在のブロックユニットの相対的なインター予測エンコードを実行してもよい。動きベクトルは、参照画像ブロック内の参照ブロックユニットに対する現在の画像ブロック内の現在のブロックユニットの変位を示してもよい。参照ブロックユニットは、現在のブロックユニットと密接に一致するように決定されたブロックである。インター予測ユニット２２４２２は、デコードピクチャバッファ２２４６に格納された参照画像ブロックを受信し、受信した参照画像ブロックに基づいて現在のブロックユニットを再構成してもよい。

【0044】

逆量子化／逆変換ユニット２２４３は、逆量子化および逆変換を適用して、画素領域において残留ブロックを再構成してもよい。逆量子化／逆変換ユニット２２４３は、残留量子化された変換係数に逆量子化を適用して残留変換係数を生成し、残留変換係数に逆変換を適用して画素ドメイン内の残留ブロックを生成してもよい。

【0045】

逆変換は、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、適応多重変換（ＡＭＴ）、モード依存非分離二次変換（ＭＤＮＳＳＴ）、ハイパーキューブ・ギブンス変換（ＨｙＧＴ）、信号依存変換、カルフネン・ロエベ変換（ＫＬＴ）、ウェーブレット変換、整数変換、サブバンド変換、または概念的に類似の変換などの変換プロセスによって逆適用されてもよい。逆変換は、残留情報を周波数領域などの変換領域から画素領域に戻すことができる。逆量子化の程度は、量子化パラメータを調整することによって変更することができる。

【0046】

加算器２２４４は、再構成された残留ブロックを予測プロセスユニット２２４２から供給された予測ブロックに加算し、再構成ブロックを生成する。

【0047】

フィルタリングユニット２２４５は、再構成されたブロックからブロッキングアーティファクトを除去するために、デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）フィルタ、バイラテラルフィルタ、および／または適応ループフィルタ（ＡＬＦ）を含んでもよい。デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、およびＡＬＦに加えて、追加のフィルタ（ループ内またはポストループ）を使用することもできる。このようなフィルタは、簡潔にするために明示的に図示されていないが、加算器２２４４の出力をフィルタリングしてもよい。フィルタリングユニット２２４５が特定の画像フレームの再構成されたブロックに対するフィルタリング処理を実行した後、フィルタリングユニット２２４５は、デコードされたビデオをディスプレイモジュール１２２または他のビデオ受信ユニットに出力してもよい。

【0048】

デコードピクチャバッファ２２４６は、（インターコーディングモードにおいて）ビットストリームをデコードする際に予測プロセスユニット２２４２によって使用される参照ブロックを記憶する参照ピクチャメモリであってよい。デコードピクチャバッファ２２４６は、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成されてもよい。デコードピクチャバッファ２２４６は、デコーダモジュール１２４の他の構成要素とオンチップであってもよいし、それらの構成要素に対してオフチップであってもよい。

【0049】

図３は、本開示の実施形態による、電子装置によってビデオデータをデコードするための方法３００のフローチャートを示す。ビデオデータのデコードを実行する様々な方法が存在するため、方法３００は例示に過ぎない。

【0050】

方法３００は、図１および図２に図示された構成を使用して実行されてもよく、これらの図の様々な要素は、方法３００に関して参照される。図３に図示された各ブロックは、実行される１つまたは複数のプロセス、方法、またはサブルーチンを表すことができる。

【0051】

図３のブロックの順序は例示であり、変更してもよい。本開示から逸脱することなく、追加のブロックを追加してもよいし、より少ないブロックを利用してもよい。

【0052】

ブロック３１０において、デコーダモジュール１２４はビデオデータを受信する。デコーダモジュール１２４が受信するビデオデータは、ビットストリームであってもよい。

【0053】

図１および図２を参照すると、第２の電子装置１２０は、第２のインターフェース１２６を介して、第１の電子装置１１０などのエンコーダ、または他のビデオプロバイダからビットストリームを受信してもよい。第２のインターフェース１２６は、ビットストリームをデコーダモジュール１２４に提供してもよい。

【0054】

エントロピーデコードユニット２２４１は、ビットストリームをデコードして、複数の画像フレームに対する複数の予測指示および複数のパーティション指示を決定してもよい。次に、デコーダモジュール１２４は、予測指示およびパーティション指示に基づいて、複数の画像フレームをさらに再構成してもよい。予測指示およびパーティション指示は、複数のフラグおよび複数のインデックスを含んでもよい。

【0055】

ブロック３２０において、デコーダモジュール１２４は、ビデオデータに従って画像フレームからブロックユニットを決定する。

【0056】

図１および図２を参照すると、デコーダモジュール１２４は、ビットストリームに基づいて画像フレームを決定し、画像フレームを分割して、ビットストリーム内のパーティション指示に従ってブロックユニットを決定してもよい。例えば、デコーダモジュール１２４は、画像フレームを分割して複数のＣＴＵを生成し、ＣＴＵのうちの１つをさらに分割して、任意のビデオエンコード規格に基づくパーティション指示に従ってブロックユニットを決定してもよい。

【0057】

ブロック３３０において、デコーダモジュール１２４は、ブロックユニットに隣接しない少なくとも１つの非隣接位置を含む複数の候補位置を決定する。

【0058】

候補位置は、ブロックユニットに隣接する複数の近傍位置であってもよい。近傍位置は、ブロックユニットに隣接する複数の隣接位置またはブロックユニットに隣接しない複数の非隣接位置のうちの少なくとも１つから選択されてもよい。したがって、いくつかの実施形態において、候補位置は、隣接位置または非隣接位置の少なくとも一方を含んでもよい。いくつかの実施形態では、候補位置は、隣接位置の少なくとも１つおよび非隣接位置の少なくとも１つを含んでもよい。いくつかの実施形態において、候補位置は、非隣接位置の少なくとも１つを含み、隣接位置を除外してもよい。いくつかの実施形態において、候補位置は、非隣接位置を除外し、隣接位置の少なくとも１つを含んでもよい。

【0059】

図４は、本開示の一実施形態によるブロックおよび複数の候補位置の例示的な実装の説明図である。図１および図２を参照すると、デコーダモジュール１２４は、現在のブロック４００に隣接する複数の隣接位置４０１～４０５と、ブロックユニット４００に隣接しない複数の非隣接位置４０６～４２３とを決定してもよい。隣接位置４０１～４０５のそれぞれは、ブロックユニット４００の４つの角のうちの１つに隣接していてもよい。さらに、ブロックユニット４００と非隣接位置４０６～４２３のうちの１つとの間の距離は、ブロックユニット４００のブロック高さＨ、ブロック幅Ｗ、または対角線長さＤのうちの１つに基づいてもよい。例えば、ブロックユニット４００の左上位置と非隣接位置４０８との間の水平距離および垂直距離は、それぞれブロックユニット４００のＷ＋１およびＨ＋１に等しくてもよく、ブロックユニット４００と非隣接位置４１１との間の距離は、ブロックユニット４００のブロック高さＨの２倍に１を加算して生成される距離値に等しくてもよい。

【0060】

ブロック３４０において、デコーダモジュール１２４は、複数の候補位置から複数の動き候補を決定する。

【0061】

図１および図２を参照すると、デコーダモジュール１２４は、候補位置に基づいて、ブロックユニットに隣接する複数の近傍ブロックを決定してもよい。近傍ブロックの各々は、候補位置の少なくとも１つをカバーしてもよい。候補位置の各々は近傍ブロックの対応する１つの左上位置に位置する。さらに、近傍ブロックのサイズは、ブロックユニットのサイズ（すなわち、ブロックの高さＨ、ブロックの幅Ｗ、または対角線の長さＤ）と同一であってもよい。

【0062】

隣接位置のうちの１つに基づいて決定された近傍ブロックは、隣接位置のうちの幾つかが互いに隣接しているので、隣接位置のうちの１つ以上をカバーしてもよい。非隣接位置の１つに基づいて決定された近傍ブロックは、非隣接位置の１つをカバーしてもよい。さらに、非隣接位置間の距離がブロックユニットのサイズ以上である場合があるので、非隣接位置の１つに基づいて決定された近傍ブロックは、非隣接位置の１つのみをカバーしてもよい。

【0063】

デコーダモジュール１２４は、画像フレームからブロックユニットに隣接するテンプレート領域を決定してもよい。テンプレート領域は、複数の隣接領域のうちの少なくとも１つを含んでもよい。第１の隣接領域は、ブロックユニットの上側に位置する隣接領域であってもよく、第２の隣接領域は、ブロックユニットの左側に位置する隣接領域であってもよく、第３の隣接領域は、ブロックユニットの左上側に位置する隣接領域であってもよい。隣接領域は、ブロックユニットを再構成する前に再構成されてもよい。第１の隣接領域の高さは、垂直方向に沿った第１の隣接領域の再構成されたサンプルの数Ｒに等しくてもよく、第１の隣接領域の幅は、ブロックユニットの幅に等しくてもよい。第２の隣接領域の高さはブロックユニットの高さに等しく、第２の隣接領域の幅は水平方向に沿って第２の隣接領域の再構成されたサンプルの数Ｓに等しくてもよい。さらに、第３の隣接領域の高さは、垂直方向に沿った第１の隣接領域の再構成されたサンプルの数Ｒに等しく、第３の隣接領域の幅は、水平方向に沿った第２の隣接領域の再構成されたサンプルの数Ｓに等しくてもよい。１つの実施形態において、数ＲおよびＳは正の整数であってよい。さらに、数ＲおよびＳは、互いに等しくても異なっていてもよい。さらに、数ＲおよびＳは、１以上であってもよい。ある実施形態では、数ＲとＳは１に等しくてもよい。

【0064】

デコーダモジュール１２４は、ブロックユニットに隣接するテンプレート領域を決定してもよい。デコーダモジュール１２４は、動き候補を決定するためのテンプレート領域として、隣接領域を使用してもよい。さらに、デコーダモジュール１２４は、動き候補を決定するためのテンプレート領域として、隣接領域のうちの２つを使用してもよい。例えば、デコーダモジュール１２４は、動き候補を決定するためのテンプレート領域として、第１および第２の隣接領域のみを使用してもよい。さらに、デコーダモジュール１２４は、動き候補を決定するためのテンプレート領域として、隣接領域のうちの１つのみを使用してもよい。

【0065】

デコーダモジュール１２４は、画像フレームから複数の近傍領域を決定してもよい。近傍領域の各々は、隣接ブロックの対応する１つに隣接していてもよい。近傍領域の各々は、近傍ブロックの対応する１つの複数の隣接領域のうちの少なくとも１つを含んでよい。近傍ブロックの特定の１つの第１の隣接領域は、特定の近傍ブロックの上側に位置する隣接領域であってもよく、特定の近傍ブロックの第２の隣接領域は、特定の近傍ブロックの左側に位置する隣接領域であってもよく、特定の近傍ブロックの第３の隣接領域は、特定の近傍ブロックの左上側に位置する隣接領域であってもよい。近傍ブロックの隣接領域は、ブロックユニットを再構成する前に再構成されてもよい。

【0066】

図５Ａ、図５Ｂ、および図５Ｃを参照すると、本開示の実施形態によるテンプレート領域および異なる近傍領域の例示的な実施態の説明図である。図５Ａは、本開示の実施形態による、ブロックユニット５００、非隣接位置５０８をカバーする近傍ブロック５３０、および近傍領域５３００の例示的な実施態の説明図である。近傍ブロック５３０のサイズは、ブロックユニット５００のサイズと同一であってもよい。近傍ブロック５３０は、ブロックユニット５００の上側かつ左側に位置し、ブロックユニット５００をカバーしていないので、近傍ブロック５３０内の複数のサンプルは、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよい。さらに、近傍領域５３００内の複数のサンプルも、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよい。

【0067】

図５Ｂは、本開示の実施形態による、ブロックユニット５００、隣接位置５０２をカバーする近傍ブロック５４０、および近傍領域５４００の例示的な実施形態の説明図である。近傍ブロック５４０のサイズは、ブロックユニット５００のサイズと同一であってもよい。しかしながら、近傍位置５０２はブロックユニット５００の右上のコーナーに隣接して位置するので、近傍ブロック５４０内のサンプルのいくつかは、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよく、近傍ブロック５４０内の他のサンプルは、再構成されていない複数のサンプルであってもよい。したがって、デコーダモジュール１２４は、ブロックユニット５００によってカバーされる領域を除外するために、図５Ａのテンプレート領域５０００よりも小さい近傍領域５４００を決定することができる。したがって、近傍領域５４００は、ブロックユニット５００の上側に位置し、ブロックユニット５００をカバーしないので、近傍領域５４００の複数のサンプルは、ブロックユニット５００の前に再構成された複数の再構成サンプルでもあり得る。

【0068】

デコーダモジュール１２４は、ブロックユニットの動き候補を選択するために、コスト関数を用いて、テンプレート領域および複数の近傍領域のそれぞれに基づいて、近傍コスト値を決定してもよい。図５Ａにおいて、デコーダモジュール１２４は、コスト関数によって、近傍ブロック５３０の近傍領域５３００とブロックユニット５００のテンプレート領域５０００とを直接比較してもよい。例えば、デコーダモジュール１２４は、近傍ブロック５３０の近傍領域５３００内の複数の近傍サンプルと、ブロックユニット５００のテンプレート領域５０００内の再構成サンプルとを比較して、近傍コスト値のうちの１つを生成してもよい。しかしながら、近傍領域５4００はテンプレート領域５０００よりも小さい場合があるので、デコーダモジュール１２４は、コスト関数によって近傍ブロック５４０の近傍領域５4００とブロックユニット５００のテンプレート領域５０００とを直接比較しなくてもよい。図５Ｃは、本開示の実施形態によるブロックユニット５００および２次領域５００１の例示的な実施形態の説明図である。２次領域５００１は、近傍領域５4００のサイズおよび形状に基づいて決定されてもよい。２次領域５００１のサイズおよび形状は、近傍領域５4００のサイズおよび形状と同一であってもよい。したがって、デコーダモジュール１２４は、コスト関数によって、近傍ブロック５４０の近傍領域５4００とブロックユニット５００のテンプレート領域５００１とを直接比較してもよい。

【0069】

コスト関数は、絶対差の和（ＳＡＤ）、絶対変換差の和（ＳＡＴＤ）、平均絶対差（ＭＡＤ）、平均二乗差（ＭＳＤ）、および構造的類似度（ＳＳＩＭ）を含むがこれらに限定されない、テンプレートマッチングコスト関数であってもよい。本開示から逸脱することなく、任意のコスト関数を使用できることに留意すべきである。

【0070】

デコーダモジュール１２４は、近傍領域によって計算された近傍コスト値に基づいて、複数の候補ブロックを選択してもよい。しかし、近傍領域のサイズは互いに同一であっても異なっていてもよいので、近傍コスト値を互いに直接比較することは不公平である場合がある。デコーダモジュール１２４は、近傍領域のサイズに基づいて、近傍ブロックのそれぞれについて平均化されたコスト値を決定してもよい。例えば、近傍ブロック５３０の平均化されたコスト値は、近傍領域５３００の近傍コスト値を８で割ることによって計算されてもよく、近傍ブロック５４０の平均化されたコスト値は、近傍領域５4００の近傍コスト値を５で割ることによって計算されてもよい。このように、デコーダモジュール１２４は、平均化されたコスト値を互いに比較して、候補ブロックを決定するための近傍位置のいくつかを選択してもよい。

【0071】

選択された近傍位置の数が３に等しい場合、３つの最も低い平均化されたコスト値を有する３つの近傍ブロックに対応する３つの近傍位置が選択され、動き候補は、３つの近傍位置をカバーする３つの候補ブロックの動き情報を含んでもよい。選択された近傍位置の数が１に等しい場合、最も低い平均化されたコスト値を有する１つの近傍ブロックに対応する１つの近傍位置が選択されてもよく、動き候補は、１つの近傍位置をカバーする１つの候補ブロックの動き情報を含んでもよい。このように、選択された近傍位置の数がＹに等しい場合、Ｙ個の最も低い平均化コスト値に基づいてＹ個の近傍位置が選択され、Ｙ個の候補ブロックが決定されてもよい。数Ｙは正の整数であってもよい。

【0072】

候補ブロックは、ブロックユニットを再構成する前に再構成された再構成ブロックであってもよい。候補ブロックの１つが動き情報を有していないとき、動き候補は、対応する１つの選択された近傍位置に基づいて決定されなくてもよい。例えば、候補ブロックの１つがイントラ予測ブロックである場合、候補ブロックの１つは、動き候補に追加されるべき動き情報を有していない。さらに、動き候補は、ブロックユニットを再構成する前に再構成された複数の以前のブロックの複数の前以前の動き情報を記憶するＦＩＦＯ（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ）テーブルから決定された履歴ベースの候補をさらに含んでもよい。

【0073】

ブロック３５０において、デコーダモジュール１２４は、複数の動き候補に基づいて、１つまたは複数のコロケーティッドフレームのうちの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択する。

【0074】

複数の動き候補の各々は、複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示してもよい。さらに、候補ブロックのうちの特定の１つの候補ブロックの動きベクトル、リスト情報、およびフレーム情報は、特定の候補ブロックを再構成するために、特定の候補ブロックを予測するために使用されてもよい。

【0075】

特定の候補ブロックのリスト情報は、インター予測指示または複数のリスト予測フラグの少なくとも１つを含んでもよい。インター予測指示は、第１の基準リストＬｉｓｔ０を有する第１の単一予測、第２の基準リストＬｉｓｔ１を有する第２の単一予測、および第１の基準リストＬｉｓｔ０および第２の基準リストＬｉｓｔ１を含む双予測のうちのいずれが特定の候補ブロックに使用されるかを示してもよい。さらに、リスト予測フラグは、第１の基準リストＬｉｓｔ０が特定の候補ブロックに使用されるかどうかを決定するために使用される第１のリスト予測フラグと、第２の基準リストＬｉｓｔ１が特定の候補ブロックに使用されるかどうかを決定するために使用される第２のリスト予測フラグとを含んでもよい。いくつかの実施形態では、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するためのインター予測表示と複数のリスト予測フラグの両方を含んでもよい。さらに、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するためのインター予測表示のみを含んでもよい。さらに、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するための複数のリスト予測フラグのみを含んでもよい。

【0076】

フレーム情報は、少なくとも１つのフレームインデックスを含んでもよい。特定の候補ブロックが双予測ブロックである場合、特定の候補ブロックのフレーム情報は、基準リストの対応する１つにそれぞれ含まれる２つの基準フレームを示すための２つのフレームインデックスを含んでもよい。さらに、特定の候補ブロックが単一予測ブロックであるとき、特定の候補ブロックのフレーム情報は、基準リストの対応する１つに含まれる１つの基準フレームを示すための１つのフレームインデックスのみを含むことができる。別の実施形態において、特定の候補ブロックが単一予測ブロックであるとき、特定の候補ブロックのフレーム情報はまた、２つのフレームインデックスを含み得る。２つのフレームインデックスのうちの１つは、基準リストのうちの対応する１つに含まれる１つの基準フレームを示すために使用されてもよく、２つのフレームインデックスのうちの他の１つは、基準リストのうちの他の１つが特定の候補ブロックに使用されないことを示すための所定のフレーム値に等しくてもよい。

【0077】

図１および図２を参照すると、デコーダモジュール１２４は、少なくとも１つの所定の値に基づいて、１つまたは複数のコロケーティッドフレームを決定してもよい。特定の候補ブロックのフレーム情報内のフレームインデックスのうちの１つが、少なくとも１つの所定の値のうちの１つに等しい場合、特定の候補ブロックのリスト情報によって示される基準リストのうちの対応する１つから選択される特定の候補ブロックの基準フレームが、１つ以上のコロケーティッドフレームに含まれてもよい。例えば、少なくとも１つの所定の値は、ゼロを含んでよい。いくつかの実施形態では、特定の候補ブロックは、第２の基準リストＬｉｓｔ１に基づいて予測される単一予測ブロックであってもよい。第２の基準リストＬｉｓｔ１に対応する特定の候補ブロックの第２のフレームインデックスがゼロに等しい場合、第２のフレームインデックスに基づいて第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの基準フレームは、１つ以上のコロケーティッドフレームに含まれてもよい。しかしながら、第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの基準フレームは、特定の候補ブロックのフレーム情報内の第２のフレームインデックスが少なくとも１つの所定の値と異なる場合、１つ以上のコロケーティッドフレームから除外されてもよい。このように、特定の候補ブロックの基準フレームは、フレーム情報に基づいて、１つ以上のコロケーティッドフレームに追加されたり、１つ以上のコロケーティッドフレームから除外されたりしてもよい。

【0078】

いくつかの実施形態では、特定の候補ブロックは、第１の基準リストＬｉｓｔ０と第２の基準リストＬｉｓｔ１に基づいて予測される双予測ブロックであってもよい。さらに、第１の基準リストＬｉｓｔ０内の複数の参照候補のうちのいくつかは、第２の基準リストＬｉｓｔ１内の複数の参照候補のうちのいくつかと同一であってもよい。したがって、第１のフレームインデックスに基づいて第１の基準リストＬｉｓｔ０から選択された特定の候補ブロックの第１の基準フレームは、第２のフレームインデックスに基づいて第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの第２の基準フレームと同一であってもよい。したがって、２つの基準リストから決定される特定の候補ブロックの基準フレームの数は、特定の候補ブロックが双予測ブロックである場合、１または２に等しくてもよい。

【0079】

第１の基準リストＬｉｓｔ０に対応する特定の候補ブロックの第１フレームインデックスが０に等しい場合、第１フレームインデックスに基づいて第１の基準リストＬｉｓｔ０から選択された特定の候補ブロックの第１基準フレームは、１つ以上のコロケーティッドフレームに含まれてもよい。さらに、第２の基準リストＬｉｓｔ１に対応する特定の候補ブロックの第２のフレームインデックスがゼロに等しい場合、第２のフレームインデックスに基づいて第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの第２の基準フレームも、１つ以上のコロケーティッドフレームに含まれてもよい。しかしながら、特定の候補ブロックのフレーム情報内のフレームインデックスが少なくとも１つの所定の値と異なる場合、特定の候補ブロックの基準フレームは、１つ以上のコロケーティッドフレームから除外されてもよい。したがって、１つ以上のコロケーティッドフレームに追加される特定の候補ブロックの基準フレームの数は、特定の候補ブロックが双予測ブロックである場合、０、１、または２に等しくてもよい。

【0080】

いくつかの実施形態において、デコーダモジュール１２４は、特定の動き候補のフレーム情報によって選択された基準フレームが１つまたは複数のコロケーティッドフレームに含まれる場合に、特定の候補ブロックに対応する動き候補の特定の１つを使用して、動きブロックを決定してもよい。デコーダモジュール１２４は、特定の動き候補の動きベクトルに基づいて、特定の動き候補が示す基準フレームから動きブロックを選択してもよい。基準フレームにおける特定の動き候補の動きブロックは、ブロックユニットからの特定の動き候補の動きベクトルによって示される。このように、動き候補におけるフレームインデックスのうちの１つが、前記少なくとも１つの所定の値のうちの１つに等しいとき、デコーダモジュール１２４は、フレームインデックスのうちの１つに対する動きブロックを決定してもよい。動きブロックの数は、前記少なくとも１つの所定の値のうちの１つに等しい動き候補のフレームインデックスの数に等しくてもよい。動きブロックの各々は、コロケーティッドブロックとみなすことができる。したがって、コロケーティッドブロックの各々は、動きベクトルの対応する１つと候補位置の対応する１つに基づいて、候補ブロックの対応する１つの基準フレームから選択されてもよい。

【0081】

いくつかの実施形態では、デコーダモジュール１２４は、動き候補の動きベクトルを直接使用して、１つ以上のコロケーティッドフレームの各々における動きブロックを決定してもよい。１つまたは複数のコロケーティッドフレームは、前記少なくとも１つの所定の値に基づいて、第１の基準リストＬｉｓｔ０および第２の基準リストＬｉｓｔ１から直接選択されてもよい。動き候補の特定の１つによって選択された動きブロックは、ブロックユニットからの特定の動き候補の動きベクトルによって、１つ以上のコロケーティッドフレームの各々において示される。したがって、特定の動き候補は、異なるコロケーティッドフレームにそれぞれ含まれる複数の動きブロックを生成するために使用されてもよい。

【0082】

いくつかの実施形態では、特定の動き候補における動きベクトルに基づいて生成された動きブロックの数は１より大きい可能性があるため、デコーダモジュール１２４は、同じ動きベクトルに基づいて異なるコロケーティッドフレームにおいて生成された動きブロックの各々について、動きコスト値を決定してもよい。動きコスト値は、テンプレートマッチングコスト関数によって決定されてもよい。デコーダモジュール１２４は、同じ動きベクトルに基づいて生成された動きブロックのそれぞれについて動き領域を決定し、動き領域をブロックユニットのテンプレート領域と比較してもよい。次に、デコーダモジュール１２４は、同じ動きベクトルに基づいて異なるコロケーティッドフレームで生成された動きブロックの動きコスト値を互いに比較して、特定の動き候補の動きベクトルの動きブロックのうちの１つを含む１つ以上のコロケーティッドフレームのうちの１つだけを選択してもよい。このように、特定の動き候補の動きブロックのうちの１つを、他の動き候補の他のコロケーティッドブロックとさらに比較するためのコロケーティッドブロックとして設定してもよい。したがって、コロケーティッドブロックの数は、少なくとも１つの所定の値の内の１つに等しいフレームインデックスの数に等しくてもよい。

【0083】

いくつかの実施形態では、同じ動きベクトルに基づいて異なるコロケーティッドフレームにおいて生成された動きブロックは、互いに比較されなくてもよい。デコーダモジュール１２４は、全ての動き候補に基づいて、１つ以上のコロケーティッドフレーム内の全ての動きブロックを生成し、全ての動きブロックをコロケーティッドブロックとして設定してもよい。したがって、コロケーティッドブロックを決定するための動きベクトルの数は少なくとも１つの所定の値のうちの１つに等しいフレームのインデックスの数に等しくてもよいので、コロケーティッドブロックの数は、少なくとも１つの所定の値のうちの１つに等しいフレームのインデックスの数と１つ以上のコロケーティッドフレームの数とを乗算することによって生成される量に等しくてもよい。

【0084】

図３に戻り、ブロック３６０において、デコーダモジュール１２４は、複数のコロケーティッドブロックユニットの各々について第１のコスト値を決定する。

【0085】

図１および図２を参照すると、デコーダモジュール１２４は、１つまたは複数のコロケーティッドフレームから、複数のコロケーティッドブロックのうちの１つにそれぞれ隣接する複数のコロケーティッド領域を決定してもよい。コロケーティッド領域の各々は、コロケーティッドブロックの対応する１つの複数の隣接領域のうちの少なくとも１つを含んでもよい。コロケーティッドブロックの特定の１つの第１の隣接領域は、コロケーティッド近傍ブロックの上側に位置する上隣接領域であってもよく、特定のコロケーティッドブロックの第２の隣接領域は、特定のコロケーティッドブロックの左側に位置する左隣接領域であってもよい、また、特定のコロケーティッドブロックの第３の隣接領域は、特定のコロケーティッドブロックの左上に位置する左上隣接領域であってもよい。１つまたは複数のコロケーティッドフレームのそれぞれはブロックユニットの再構築前に再構築されるので、コロケーティッドブロックの隣接領域はブロックユニットの再構築前に再構築されてもよい。

【0086】

図６は、本開示の一実施形態による、ブロックユニット６００及びテンプレート領域６０００を有する画像フレーム６０、並びに、コロケーティッドブロック６５０～６６０及びコロケーティッド領域６５００～６６００を有するコロケーティッドフレーム６５～６６の例示的な実施態の説明図である。コロケーティッドブロック６５０および６６０のサイズは、ブロックユニット６００のサイズと同一であってもよく、コロケーティッド領域６５００および６６００のサイズは、テンプレート領域６０００のサイズと同一であってもよい。さらに、コロケーティッドブロック６５０および６６０ならびにコロケーティッド領域６５００および６６００内の複数のサンプルもまた、ブロックユニット６００の前に再構成された再構成サンプルであってよい。

【0087】

デコーダモジュール１２４は、コスト関数を使用することによって、テンプレート領域および複数のコロケーティッド領域の各々に基づいて、コロケーティッドコスト値を決定してもよい。図６において、デコーダモジュール１２４は、コスト関数によって、コロケーティッドブロック６５０のコロケーティッド領域６５００およびコロケーティッドブロック６６０のコロケーティッド領域６６００を、ブロックユニット６００のテンプレート領域６０００と直接比較してもよい。例えば、デコーダモジュール１２４は、近傍ブロック６５０のコロケーティッド領域６５００内の複数のコロケーティッドサンプルを、ブロックユニット６００のテンプレート領域６０００内の再構成されたサンプルと比較して、コロケーティッドコスト値のうちの１つを生成してもよい。

【0088】

コスト関数は、ＳＡＤ、ＳＡＴ）、ＭＡＤ、ＭＳＤ、およびＳＳＩＭを含むテンプレートマッチングコスト関数であってもよいが、これらに限定されない。本開示から逸脱することがなければ、任意のコスト関数を使用できることに留意すべきである。

【0089】

コロケーティッドコスト値、近傍コスト値、平均化されたコスト値、及び動きコスト値を互いに区別するために、コロケーティッドコスト値は第１のコスト値とみなされてもよく、近傍コスト値は複数の第２のコスト値とみなされてもよく、平均化されたコスト値は複数の第３のコスト値とみなされてもよく、動きコスト値は複数の第４のコスト値とみなされてもよい。第２のコスト値および第３のコスト値は、方法３００のいくつかの実施形態においてのみ動き候補を決定するために使用され得るので、方法３００において第２のコスト値および第３のコスト値を使用しなくてもよい。第４のコスト値は、方法３００のいくつかの実施形態において、コロケーティッドブロックを決定するために使用されてもよいので、方法３００において第４のコスト値を使用しなくてもよい。いくつかの実施形態では、第２のコスト値、第３のコスト値、および第４のコスト値のすべてが、動き候補の決定およびコロケーティッドブロックの決定のために方法３００において使用されてもよい。

【0090】

ブロック３７０において、デコーダモジュール１２４は、複数の動き候補および複数の第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定する。

【0091】

デコーダモジュール１２４は、コロケーティッド領域によって計算された第１のコスト値に基づいて、コロケーティッドブロックのうちの少なくとも１つを選択してもよい。選択された少なくとも１つのコロケーティッドブロックの数が４に等しい場合、第１のコスト値のうち最も低いものを４つ有する４つのコロケーティッドブロックが選択されてもよく、デコーダモジュール１２４は、４つのコロケーティッドブロックの動き情報を４つのコロケーティッド候補として決定してもよい。選択された少なくとも１つのコロケーティッドブロックの数が１に等しいとき、最も低いコロケーティッドコスト値を有するコロケーティッドブロックが選択されてよく、デコーダモジュール１２４は、選択されたコロケーティッドブロックの動き情報をコロケーティッド候補として決定してよい。このように、選択された少なくとも１つのコロケーティッドブロックの数がＹに等しいとき、Ｙ個のコロケーティッドブロックが、Ｙ個のコロケーティッド候補を決定するために、コロケーティッドコスト値のうちのＹ個の最も低いコロケーティッドコスト値に基づいて選択されてもよい。数Ｙは正の整数であってもよい。少なくとも１つのコロケーティッド候補の各々は、少なくとも１つのコロケーティッドブロックの対応する１つについての動き情報、リスト情報、およびフレーム情報を示してよい。

【0092】

少なくとも１つのＳｂＴＭＶＰ候補の各々は、少なくとも１つのコロケーティッド候補の対応する１つに基づいて決定されてもよい。デコーダモジュール１２４は、選択された少なくとも１つのコロケーティッドブロックの特定の１つの基準フレームと、特定の選択されたコロケーティッドブロックを含むコロケーティッドフレームの特定の１つとの間のコロケーティッド距離を決定してもよい。特定の選択されたコロケーティッドブロックの基準フレームは、特定の選択されたコロケーティッドブロックの動き情報（例えば、コロケーティッド候補）によって示されてもよい。さらに、デコーダモジュール１２４は、ブロックユニットの基準フレームと画像フレームとの間の基準距離を決定してもよい。次に、少なくとも１つのＳｂＴＭＶＰ候補の特定の１つの動き情報は、コロケーティッド距離の対応する１つ、基準距離の対応する１つ、およびコロケーティッド候補の対応する１つの動き情報に基づいて決定されてもよい。いくつかの実施形態は、ブロックユニットの基準フレームは、少なくとも１つのＳｂＴＭＶＰ候補の対応する１つを決定するための１つ以上のコロケーティッドブロックの対応する１つであってもよい。

【0093】

図３に戻ると、ブロック３８０で、デコーダモジュール１２４は、少なくとも１つのＳｂＴＭＶＰ候補を含む候補リストに基づいてブロックユニットを再構成する。

【0094】

図１および図２を参照すると、デコーダモジュール１２４は、予測インデックスに基づいて、候補リストから予測候補を選択してもよい。予測インデックスは、候補リストからブロックユニットの予測候補を示すことができる。したがって、デコーダモジュール１２４は、候補リストから選択された予測候補に基づいて、ブロックユニットの予測ブロックを生成することができる。いくつかの実施形態では、候補リストは、複数のマージ候補を含むマージリストであってもよく、少なくとも１つのＳｂＴＭＶＰ候補は、マージ候補に含まれてもよい。いくつかの実施形態では、候補リストは、複数のサブブロックマージ候補を含むサブブロックマージリストであってもよく、少なくとも１つのＳｂＴＭＶＰ候補は、サブブロックマージ候補に含まれてもよい。いくつかの実施形態では、予測インデックスは、候補リストがＳｂＴＭＶＰ候補のみを含む場合に、ＳｂＴＭＶＰ候補のうちの選択された１つを決定するためのインデックスＳｂＴＭＶＰ＿ｉｄｘであってもよい。

【0095】

デコーダモジュール１２４はさらに、複数の残留成分を予測ブロックに追加して、ブロックユニットを再構成してもよい。前記残留成分は、ビットストリームから決定されてもよい。デコーダモジュール１２４は、画像フレームおよびビデオデータを再構成するために、画像フレーム内の他のすべてのブロックユニットを再構成してもよい。

【0096】

方法３００に類似する別の方法Ｍ１は、図１および図２に示される構成を使用して実行されてもよく、これらの図の様々な要素は、方法３００に関して参照される。

【0097】

方法Ｍ１において、デコーダモジュール１２４は、方法３００に基づいてビデオデータをデコードしてもよい。さらに、ブロック３７０において、コロケーティッドブロックのうちの少なくとも１つを選択した後、デコーダモジュール１２４は、選択された少なくとも１つのコロケーティッドブロックのうちの１つにそれぞれ隣接する複数のシフトブロックをさらに決定する。いくつかの実施形態では、シフトブロックの各々は、図４における複数の隣接位置および複数の非隣接位置を含む複数の近傍位置に基づいて選択されてもよい。いくつかの実施形態では、シフトブロックの各々は、４つの方向位置（例えば、上側位置、下側位置、左側位置、および右側位置）を含む複数の近傍位置に基づいて選択されてもよい。いくつかの実施形態では、シフトブロックの各々は、８つの方向位置（例えば、上側位置、下側位置、左側位置、右側位置、左上側位置、右上側位置、左下側位置、右下側位置）を含む複数の近傍位置に基づいて選択されてもよい。

【0098】

図７は、本開示の一実施形態による、ブロックユニット７００およびテンプレート領域７０００を有する画像フレーム７０と、コロケーティッドブロック７７０、シフトブロック７７１～７７４およびコロケーティッド領域７７００～７７４０を有するコロケーティッドフレーム７７との例示的な実施態の説明図である。コロケーティッドブロック７７０およびシフトブロック７７１～７７４のサイズは、ブロックユニット７００のサイズと同一であってもよく、コロケーティッド領域７７００～７７４０のサイズは、テンプレート領域７０００のサイズと同一であってもよい。さらに、コロケーティッドブロック７７０、シフトブロック７７１～７７４、およびコロケーティッド領域７７００～７７４０内の複数のサンプルも、ブロックユニット７００の前に再構成された再構成サンプルであってもよい。

【0099】

デコーダモジュール１２４は、コスト関数を使用することによって、テンプレート領域および複数のコロケーティッド領域の各々に基づいて、シフトコスト値を決定してもよい。図７において、デコーダモジュール１２４は、コスト関数によって、ブロックユニット７００のテンプレート領域７０００と、コロケーティッド領域７７００～７７４０のそれぞれを直接比較してもよい。例えば、デコーダモジュール１２４は、シフトコスト値のうちの１つを生成するために、シフトブロック７４０のコロケーティッド領域７７４０内の複数のコロケーティッドサンプルと、ブロックユニット７００のテンプレート領域７０００内の再構成サンプルとを比較してもよい。シフトブロックのコロケーティッド領域に基づいて決定されたシフトコスト値の１つが、コロケーティッドブロックのコロケーティッド領域に基づいて決定されたシフトコスト値よりも小さい場合、シフトブロックの対応する１つは、コロケーティッド候補を決定するためのコロケーティッドブロックを置き換えてもよい。このように、コロケーティッド候補は、シフトブロックの対応する１つの動きベクトル、リスト情報、およびフレーム情報を示すことができる。

【0100】

図８は、本開示の実施形態による、電子装置によってビデオデータをデコードするための方法８００のフローチャートを示す。ビデオデータのデコードを実行する様々な方法が存在するため、方法８００は例示に過ぎない。

【0101】

方法８００は、図１および図２に図示された構成を使用して実行されてもよく、これらの図の様々な要素は、方法３００に関して参照される。図８に示された各ブロックは、実行される１つまたは複数のプロセス、方法、またはサブルーチンを表すことができる。

【0102】

図８のブロックの順序は例示であり、変更してもよい。本開示から逸脱することなく、追加のブロックを追加してもよいし、より少ないブロックを利用してもよい。

【0103】

ブロック８１０において、デコーダモジュール１２４はビデオデータを受信する。デコーダモジュール１２４が受信するビデオデータは、ビットストリームであってもよい。

【0104】

【0105】

【0106】

ブロック８２０において、デコーダモジュール１２４は、ビデオデータに従って画像フレームからブロックユニットを決定する。

【0107】

図１および図２を参照すると、デコーダモジュール１２４は、ビットストリームに基づいて画像フレームを決定し、ビットストリーム内のパーティション指示に従って、画像フレームを分割して、ブロックユニットを決定してもよい。例えば、デコーダモジュール１２４は、画像フレームを分割して複数のＣＴＵを生成し、任意のビデオコーディング規格に基づくパーティション指示に従って、ＣＴＵのうちの１つをさらに分割して、ブロックユニットを決定してもよい。

【0108】

ブロック８３０において、デコーダモジュール１２４は、ブロックユニットに隣接する複数の隣接位置およびブロックユニットに隣接しない複数の非隣接位置から選択される複数の候補位置を決定する。

【0109】

候補位置は、ブロックユニットに隣接する複数の近傍位置であってもよい。近傍位置は、ブロックユニットに隣接する複数の隣接位置またはブロックユニットに隣接しない複数の非隣接位置のうちの少なくとも１つから選択され得る。したがって、いくつかの実施形態において、候補位置は、隣接位置または非隣接位置の少なくとも一方を含んでもよい。いくつかの実施形態では、候補位置は、隣接位置の少なくとも１つと非隣接位置の少なくとも１つを含んでもよい。いくつかの実施形態において、候補位置は、非隣接位置の少なくとも１つを含み、隣接位置を除外してもよい。いくつかの実施形態において、候補位置は、非隣接位置を除外し、隣接位置の少なくとも１つを含んでもよい。

【0110】

図１、図２および図４を参照すると、デコーダモジュール１２４は、現在のブロック４００に隣接する複数の隣接位置４０１～４０５と、ブロックユニット４００に隣接しない複数の非隣接位置４０６～４２３とを決定してもよい。隣接位置４０１～４０５のそれぞれは、ブロックユニット４００の４つの角のうちの１つに隣接していてもよい。さらに、ブロックユニット４００と非隣接位置４０６～４２３のうちの１つとの間の距離は、ブロックユニット４００のブロック高さＨ、ブロック幅Ｗ、または対角線長さＤのうちの１つに基づいてもよい。例えば、ブロックユニット４００の左上位置と非隣接位置４０８との間の水平距離および垂直距離は、それぞれブロックユニット４００のＷ＋１およびＨ＋１に等しくてもよく、ブロックユニット４００と非隣接位置４１１との間の距離は、ブロックユニット４００のブロック高さＨの２倍に１を加算して生成される距離値に等しくてもよい。

【0111】

ブロック８４０において、デコーダモジュール１２４は、複数の候補位置から複数の動き候補を決定する。

【0112】

図１および図２を参照すると、デコーダモジュール１２４は、候補位置に基づいて、ブロックユニットに隣接する複数の近傍ブロックを決定してもよい。近傍ブロックの各々は、候補位置の少なくとも１つをカバーしてもよい。候補位置の各々は、近傍ブロックの対応する１つの左上側の位置に配置されてもよい。さらに、近傍ブロックのサイズは、ブロックユニットのサイズ（すなわち、ブロックの高さＨ、ブロックの幅Ｗ、または対角線の長さＤ）と同一であってもよい。

【0113】

【0114】

【0115】

【0116】

デコーダモジュール１２４は、画像フレームから複数の近傍領域を決定してもよい。近傍領域の各々は、近傍ブロックの対応する１つに隣接していてもよい。近傍領域の各々は、近傍ブロックの対応する１つの複数の隣接領域のうちの少なくとも１つを含んでよい。近傍ブロックの特定の１つの第１の隣接領域は、特定の近傍ブロックの上側に位置する隣接領域であってもよく、特定の近傍ブロックの第２の隣接領域は、特定の近傍ブロックの左側に位置する隣接領域であってもよく、特定の近傍ブロックの第３の隣接領域は、特定の近傍ブロックの左上側に位置する隣接領域であってもよい。近傍ブロックの隣接領域は、ブロックユニットを再構成する前に再構成されてもよい。

【0117】

図５Ａを参照すると、近傍ブロック５３０のサイズは、ブロックユニット５００のサイズと同一であってもよい。近傍ブロック５３０は、ブロックユニット５００の上側かつ左側に位置し、ブロックユニット５００を覆っていないので、近傍ブロック５３０内の複数のサンプルは、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよい。さらに、近傍領域５３００内の複数のサンプルも、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよい。

【0118】

図５Ｂを参照すると、近傍ブロック５４０のサイズは、ブロックユニット５００のサイズと同一であってもよい。しかしながら、近傍位置５０２はブロックユニット５００の右上隅に隣接して位置するので、近傍ブロック５４０内のサンプルのいくつかは、ブロックユニット５００の前に再構成された複数の再構成サンプルであってもよく、近傍ブロック５４０内の他のサンプルは、再構成されていない複数のサンプルであってもよい。したがって、デコーダモジュール１２４は、ブロックユニット５００によってカバーされる領域を除外するために、図５Ａのテンプレート領域５０００よりも小さい近傍領域５4００を決定してもよい。したがって、近傍領域５4００は、ブロックユニット５００の上側に位置し、ブロックユニット５００を覆わないので、近傍領域５4００の複数のサンプルは、ブロックユニット５００の前に再構成された複数の再構成サンプルでもあってもよい。

【0119】

デコーダモジュール１２４は、ブロックユニットの動き候補を選択するために、コスト関数を用いて、テンプレート領域と複数の近傍領域のそれぞれとに基づいて、近傍コスト値を決定してもよい。図５Ａにおいて、デコーダモジュール１２４は、コスト関数によって、近傍ブロック５３０の近傍領域５３００とブロックユニット５００のテンプレート領域５０００とを直接比較してもよい。例えば、デコーダモジュール１２４は、近傍ブロック５３０の近傍領域５３００内の複数の隣接サンプルと、ブロックユニット５００のテンプレート領域５０００内の再構成サンプルとを比較して、近傍コスト値のうちの１つを生成してもよい。しかしながら、近傍領域５4００はテンプレート領域５０００よりも小さい場合があるので、デコーダモジュール１２４は、コスト関数によって近傍ブロック５４０の近傍領域５4００とブロックユニット５００のテンプレート領域５０００とを直接比較しなくてもよい。図５Ｃを参照すると、２次領域５００１は、近傍領域５4００のサイズおよび形状に基づいて決定されてもよい。２次領域５００１のサイズおよび形状は、近傍領域５4００のサイズおよび形状と同一であってもよい。したがって、デコーダモジュール１２４は、コスト関数によって、近傍ブロック５４０の近傍領域５4００とブロックユニット５００のテンプレート領域５００１とを直接比較してもよい。

【0120】

コスト関数は、絶対差の和（ＳＡＤ）、絶対変換差の和（ＳＡＴＤ）、平均絶対差（ＭＡＤ）、平均二乗差（ＭＳＤ）、および構造的類似度（ＳＳＩＭ）を含むテンプレートマッチングコスト関数であってもよいが、これらに限定されない。本開示から逸脱することなく、任意のコスト関数を使用できることに留意すべきである。

【0121】

デコーダモジュール１２４は、近傍領域によって計算された近傍コスト値に基づいて、複数の候補ブロックを選択してもよい。しかし、近傍領域のサイズは互いに同一であっても異なっていてもよいので、近傍コスト値を互いに直接比較するのは不公平な場合がある。デコーダモジュール１２４は、近傍領域のサイズに基づいて、近傍ブロックのそれぞれについて平均化コスト値を決定してもよい。例えば、近傍ブロック５３０の平均化コスト値は、近傍領域５３００の近傍コスト値を８で割ることによって計算されてもよく、近傍ブロック５４０の平均化コスト値は、近傍領域５4００の近傍コスト値を５で割ることによって計算されてもよい。このように、デコーダモジュール１２４は、平均化コスト値を互いに比較して、候補ブロックを決定するための近傍位置のいくつかを選択してもよい。

【0122】

選択された近傍位置の数が３に等しい場合、３つの平均化コスト値が最も低い３つの近傍ブロックに対応する３つの近傍位置が選択され、動き候補は、３つの近傍位置をカバーする３つの候補ブロックの動き情報を含んでもよい。選択された近傍位置の数が１に等しい場合、最も低い平均化コスト値を有する１つの近傍ブロックに対応する１つの近傍位置が選択されてもよく、動き候補は、１つの近傍位置をカバーする１つの候補ブロックの動き情報を含んでもよい。このように、選択された近傍位置の数がＹに等しい場合、Ｙ個の最も低い平均化コスト値に基づいてＹ個の近傍位置が選択され、Ｙ個の候補ブロックが決定されてもよい。数Ｙは正の整数であってもよい。

【0123】

候補ブロックは、ブロックユニットを再構成する前に再構成されたブロックであってもよい。候補ブロックの１つが動き情報を有していないとき、動き候補は、対応する１つの選択された近傍位置に基づいて決定されなくてもよい。例えば、候補ブロックの１つがイントラ予測ブロックである場合、候補ブロックの１つは、動き候補に追加されるべき動き情報を有していない。さらに、動き候補は、ブロックユニットを再構成する前に再構成された複数の以前のブロックの複数の以前の動き情報を記憶するＦＩＦＯ（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ）テーブルから決定された履歴ベースの候補をさらに含んでもよい。

【0124】

図８に戻ると、ブロック８５０において、デコーダモジュール１２４は、複数の動き候補に基づいて、それぞれが１つまたは複数のコロケーティッドフレームのうちの１つに含まれる複数のコロケーティッドブロックを決定する。

【0125】

【0126】

特定の候補ブロックのリスト情報は、インター予測指示または複数のリスト予測フラグの少なくとも１つを含んでもよい。インター予測指示は、第１の基準リストＬｉｓｔ０を有する第１の単一予測、第２の基準リストＬｉｓｔ１を有する第２の単一予測、および第１の基準リストＬｉｓｔ０および第２の基準リストＬｉｓｔ１を含む双予測のうちのいずれが特定の候補ブロックに使用されるかを示すことができる。さらに、リスト予測フラグは、第１の基準リストＬｉｓｔ０が特定の候補ブロックに使用されるかどうかを決定するために使用される第１のリスト予測フラグと、第２の基準リストＬｉｓｔ１が特定の候補ブロックに使用されるかどうかを決定するために使用される第２のリスト予測フラグとを含んでもよい。いくつかの実施形態では、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するためのインター予測表示と複数のリスト予測フラグの両方を含んでもよい。さらに、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するためのインター予測表示のみを含んでもよい。さらに、特定の候補ブロックのリスト情報は、特定の候補ブロックの基準リストを決定するための複数のリスト予測フラグのみを含んでもよい。

【0127】

フレーム情報は、少なくとも１つのフレームインデックスを含んでもよい。特定の候補ブロックが双予測ブロックである場合、特定の候補ブロックのフレーム情報は、基準リストの対応する１つにそれぞれ含まれる２つの基準フレームを示すための２つのフレームインデックスを含んでもよい。さらに、特定の候補ブロックが単一予測ブロックであるとき、特定の候補ブロックのフレーム情報は、基準リストの対応する１つに含まれる１つの基準フレームを示すための１つのフレームインデックスのみを含んでもよい。別の実施形態において、特定の候補ブロックが単一予測ブロックであるとき、特定の候補ブロックのフレーム情報はまた、２つのフレームインデックスを含んでもよい。２つのフレームインデックスのうちの１つは、基準リストのうちの対応する１つに含まれる１つの基準フレームを示すために使用されてもよく、２つのフレームインデックスのうちの他の１つは、基準リストのうちの他の１つが特定の候補ブロックに使用されないことを示すための所定のフレーム値に等しくてもよい。

【0128】

図１および図２を参照すると、デコーダモジュール１２４は、少なくとも１つの所定の値に基づいて、１つまたは複数のコロケーティッドフレームを決定してもよい。特定の候補ブロックのフレーム情報内のフレームインデックスのうちの１つが、少なくとも１つの所定の値のうちの１つに等しい場合、特定の候補ブロックのリスト情報によって示される基準リストに対応するものから選択される特定の候補ブロックの基準フレームは、１つ以上のコロケーティッドフレームに含まれてもよい。例えば、前記少なくとも１つの所定の値は、ゼロを含んでもよい。いくつかの実施形態では、特定の候補ブロックは、第２の基準リストＬｉｓｔ１に基づいて予測される単一予測ブロックであってもよい。第２の基準リストＬｉｓｔ１に対応する特定の候補ブロックの第２のフレームインデックスがゼロに等しい場合、第２のフレームインデックスに基づいて第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの基準フレームは、１つ以上のコロケーティッドフレームに含まれてもよい。しかしながら、第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの基準フレームは、特定の候補ブロックのフレーム情報内の第２のフレームインデックスが少なくとも１つの所定の値と異なる場合、１つ以上のコロケーティッドフレームから除外されてもよい。このように、特定の候補ブロックの基準フレームは、フレーム情報に基づいて、１つ以上のコロケーティッドフレームに追加されたり、１つ以上のコロケーティッドフレームから除外されたりしてもよい。

【0129】

【0130】

第１の基準リストＬｉｓｔ０に対応する特定の候補ブロックの第１フレームインデックスが０に等しい場合、第１フレームインデックスに基づいて第１の基準リストＬｉｓｔ０から選択された特定の候補ブロックの第１基準フレームは、１つ以上のコロケーティッドフレームに含まれてもよい。さらに、第２の基準リストＬｉｓｔ１に対応する特定の候補ブロックの第２のフレームインデックスがゼロに等しい場合、第２のフレームインデックスに基づいて第２の基準リストＬｉｓｔ１から選択された特定の候補ブロックの第２の基準フレームも、１つ以上のコロケーティッドフレームに含まれてもよい。しかしながら、特定の候補ブロックのフレーム情報内のフレームインデックスが前記少なくとも１つの所定の値と異なる場合、特定の候補ブロックの基準フレームは、１つ以上のコロケーティッドフレームから除外されてもよい。したがって、１つ以上のコロケーティッドフレームに追加される特定の候補ブロックの基準フレームの数は、特定の候補ブロックが双予測ブロックである場合、０、１、または２に等しくてもよい。

【0131】

いくつかの実施形態において、デコーダモジュール１２４は、特定の動き候補のフレーム情報によって選択された基準フレームが１つまたは複数のコロケーティッドフレームに含まれる場合に、特定の候補ブロックに対応する動き候補の特定の１つを使用して、動きブロックを決定してもよい。デコーダモジュール１２４は、特定の動き候補の動きベクトルに基づいて、特定の動き候補が示す基準フレームから動きブロックを選択してもよい。基準フレームにおける特定の動き候補の動きブロックは、ブロックユニットからの特定の動き候補の動きベクトルによって示される。このように、動き候補におけるフレームインデックスのうちの１つが、前記少なくとも１つの所定の値のうちの１つに等しいとき、デコーダモジュール１２４は、フレームインデックスのうちの１つに対する動きブロックを決定してもよい。動きブロックの数は、前記少なくとも１つの所定の値のうちの１つに等しい動き候補のフレームインデックスの数に等しくてもよい。動きブロックの各々は、コロケーティッドブロックとみなすことができる。したがって、コロケーティッドブロックの各々は、動きベクトルの対応する１つおよび候補位置の対応する１つに基づいて、候補ブロックの対応する１つの基準フレームから選択されてもよい。

【0132】

【0133】

いくつかの実施形態では、特定の動き候補における動きベクトルに基づいて生成された動きブロックの数は１より大きい可能性があるため、デコーダモジュール１２４は、同じ動きベクトルに基づいて異なるコロケーティッドフレームにおいて生成された動きブロックの各々について、動きコスト値を決定してもよい。動きコスト値は、テンプレートマッチングコスト関数によって決定されてもよい。デコーダモジュール１２４は、同じ動きベクトルに基づいて生成された動きブロックのそれぞれについて動き領域を決定し、動き領域をブロックユニットのテンプレート領域と比較してもよい。次に、デコーダモジュール１２４は、同じ動きベクトルに基づいて異なるコロケーティッドフレームで生成された動きブロックの動きコスト値を互いに比較して、特定の動き候補の動きベクトルの動きブロックのうちの１つを含む１つ以上のコロケーティッドフレームのうちの１つだけを選択してもよい。このように、特定の動き候補の動きブロックのうちの１つを、他の動き候補の他のコロケーティッドブロックとさらに比較するためのコロケーティッドブロックとして設定してもよい。したがって、コロケーティッドブロックの数は、前記少なくとも１つの所定の値の１つに等しいフレームインデックスの数に等しくてもよい。

【0134】

いくつかの実施形態では、同じ動きベクトルに基づいて異なるコロケーティッドフレームにおいて生成された動きブロックは、互いに比較されなくてもよい。デコーダモジュール１２４は、全ての動き候補に基づいて、１つ以上のコロケーティッドフレーム内の全ての動きブロックを生成し、全ての動きブロックをコロケーティッドブロックとして設定してもよい。したがって、コロケーティッドブロックを決定するための動きベクトルの数が前記少なくとも１つの所定の値のうちの１つに等しいフレームのインデックスの数と等しいので、コロケーティッドブロックの数は、前記少なくとも１つの所定の値のうちの１つと１つ以上のコロケーティッドフレームの数とを乗算することによって生成される量に等しくてもよい。

【0135】

図８に戻り、ブロック８６０において、デコーダモジュール１２４は、複数のコロケーティッドブロックの動き情報に基づいて、複数のサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を導出する。

【0136】

図１および図２を参照すると、デコーダモジュール１２４は、コロケーティッドブロックが動き情報を有するか否かを判定してもよい。コロケーティッドブロックがイントラ予測によって予測または再構成される場合、コロケーティッドブロックは、動き情報を含まないイントラ予測モードのみを含んでもよい。コロケーティッドブロックがインター予測によって予測または再構成される場合、デコーダモジュール１２４は、コロケーティッドブロックの動き情報を受信してもよい。

【0137】

コロケーティッドブロックの各々の動き情報は、コロケーティッドブロックの対応する１つのベクトル情報、リスト情報、及びフレーム情報を含んでもよい。さらに、コロケーティッドブロックの特定の１つのベクトル情報、リスト情報、およびフレーム情報は、特定のコロケーティッドブロックを再構成するために、特定のコロケーティッドブロックを予測するために使用されてもよい。

【0138】

デコーダモジュール１２４は、コロケーティッドブロックの動き情報を使用して、各々がコロケーティッドブロックの１つに対応するＳｂＴＭＶＰ候補を決定してもよい。いくつかの実施形態では、デコーダモジュール１２４は、ブロックユニットのＳｂＴＭＶＰ候補のすべてを含む初期ＳｂＴＭＶＰリストを決定してもよい。ブロックユニットがＳｂＴＭＶＰ候補に基づいて予測されるとき、ブロックユニットは複数のサブブロックユニットに分割されてもよい。したがって、コロケーティッドブロックのそれぞれも、複数のコロケーティッドサブブロックに分割されてもよい。デコーダモジュール１２４は、画像フレームを再構成する前に、コロケーティッドフレームが再構成されるので、コロケーティッドブロックの動き情報を使用して、コロケーティッドサブブロックのための複数の第１のサブブロックベクトルＶｓ１を決定してもよい。次に、デコーダモジュール１２４は、複数の第１のサブブロックベクトルＶｓ１に基づいて、サブブロックユニットのための複数の第２のサブブロックベクトルＶｓ２を導出してもよい。例えば、デコーダモジュール１２４は、特定の１つのコロケーティッドブロックの動き情報を使用して、特定のコロケーティッドブロック内のＭ個のコロケーティッドサブブロックに対するＭ個の第１のサブブロックベクトルＶｓ１を決定してもよい。次に、デコーダモジュール１２４は、Ｍ個の第１のサブブロックベクトルＶｓ１に基づいて、ブロックユニット内のＭ個のサブブロックユニットのためのＭ個の第２のサブブロックベクトルＶｓ２を導出してもよい。Ｍ個の第２のサブブロックベクトルＶｓ２の各々は、Ｍ個の第１のサブブロックベクトルＶｓ１のうちの対応する１つと、画像フレームとブロックユニットの基準フレームとの間の基準距離と、コロケーティッドフレームとコロケーティッドブロックのコロケーティッド基準フレームとの間のコロケーティッド距離とに基づいて導出されてもよい。

【0139】

さらに、コロケーティッドサブブロックの特定の１つがユニ予測ブロックに含まれるとき、デコーダモジュール１２４は、特定のコロケーティッドサブブロックに対応するサブブロックユニットの特定の１つのための１つの第２のサブブロックベクトルを導出してもよい。さらに、特定のコロケーティッドサブブロックが双予測ブロックに含まれる場合、デコーダモジュール１２４は、特定のコロケーティッドサブブロックに対応する特定のサブブロックユニットのための２つの第２のサブブロックベクトルを導出してもよい。いくつかの実施形態では、特定のコロケーティッドブロック内のコロケーティッドサブブロックのうちのいくつかは、単一予測ブロックであってもよく、特定のコロケーティッドブロック内のコロケーティッドサブブロックのうちの他のものは、双予測ブロックであってもよい。したがって、デコーダモジュール１２４が特定のコロケーティッドブロック内のＭ個のコロケーティッドサブブロックを決定するとき、デコーダモジュール１２４は、Ｍ個のコロケーティッドサブブロックの動き情報を使用して、特定のコロケーティッドブロック内のＭ個のコロケーティッドサブブロックの（Ｍ＋Ｘ）個の第１のサブブロックベクトルＶｓ１を決定してもよい。次に、デコーダモジュール１２４は、（Ｍ＋Ｘ）個の第１のサブブロックベクトルＶｓ１に基づいて、ブロックユニット内のＭ個のサブブロックユニットのための（Ｍ＋Ｘ）個の第２のサブブロックベクトルＶｓ２を導出してもよい。数Ｘは、特定のコロケーティッドブロック内の双予測コロケーティッドサブブロックの数に等しくてもよい。数Ｘは、０～Ｍの範囲内であってもよい。したがって、第２のサブブロックベクトルＶｓ２の数は、Ｍ～２Ｍの範囲内であってもよい。

【0140】

コロケーティッドサブブロックのＭ個の第１のサブブロックベクトルＶｓ１は、差分エンコードユニットから受信され、互いに異なってもよいので、サブブロックユニットのＭ個の第２のサブブロックベクトルＶｓ２は、互いに異なってもよい。したがって、デコーダモジュール１２４が、ＳｂＴＭＶＰ候補のうちの１つを決定するために、コロケーティッドブロックのうちの特定の１つから決定されたＭ個の第２のサブブロックベクトルＶｓ２を使用するとき、特定のコロケーティッドブロックに対応するＭ個の第２のサブブロックベクトルＶｓ２が互いに異なることがあるので、デコーダモジュール１２４は、互いに隣接しない複数の参照サブブロックを決定してもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補の各々は、コロケーティッドブロックの対応する１つに対するＭ個の第１のサブブロックベクトルＶｓ１を示してもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補の各々は、ブロックユニットのためのコロケーティッドブロックの１つに対応するＭ個の第２のサブブロックベクトルＶｓ２を示してもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補の各々は、ブロックユニットのためのコロケーティッドブロックの１つに対応する参照サブブロックを示してもよい。

【0141】

図８に戻り、ブロック８７０において、デコーダモジュール１２４は、複数のＳｂＴＭＶＰ候補の各々に基づいて第１のコスト値を決定する。

【0142】

図１及び図２を参照すると、デコーダモジュール１２４は、画像フレームからブロックユニットに隣接するテンプレート領域を決定してもよい。テンプレート領域は、複数の隣接領域のうちの少なくとも１つを含んでもよい。第１の隣接領域は、ブロックユニットの上側に位置する隣接領域であってもよく、第２の隣接領域は、ブロックユニットの左側に位置する隣接領域であってもよく、第３の隣接領域は、ブロックユニットの左上側に位置する隣接領域であってもよい。隣接領域は、ブロックユニットを再構成する前に再構成されてもよい。

【0143】

デコーダモジュール１２４は、さらに、コロケーティッドブロックのうちの１つに対応する参照サブブロックに対して生成された複数の参照サブ領域を含む基準領域を決定してもよい。コロケーティッドブロックのうちの特定の１つに対応する参照サブブロックは互いに隣接していなくてもよいので、特定のコロケーティッドブロックに対応する参照サブ領域は、Ｍ個の第２のサブブロックベクトルＶｓ２の一部に基づいて決定されてもよい。Ｍ個の第２のサブブロックベクトルＶｓ２の一部は、ブロックユニットの上部境界に位置するサブブロックユニットに属していてもよいし、ブロックユニットの左側境界に位置するサブブロックユニットに属していてもよい。

【0144】

図９Ａおよび図９Ｂは、本開示の実施形態によるテンプレート領域および基準領域の例示的な実施態の説明図である。図９Ａは、本開示の実施形態によるブロックユニット９００及びテンプレート領域９００の例示的な実施態の説明図である。ブロックユニットに隣接するテンプレート領域９０００は、画像フレームにおいて決定される。テンプレート領域９０００は、ブロックユニット９００を再構成する前に再構成されてもよい。

【0145】

図９Ｂは、本開示の実施形態による複数の参照サブブロック９０１～９１６および基準領域の例示的な実施態の説明図である。基準領域は、複数の参照サブ領域９０１１、９０５１、９０９１、９１３１、９１３２、９１４２、９１５２、および９１６２を含んでもよい。参照サブ領域９０１１、９０５１、９０９１、および９１３１は、参照サブブロック９０１、９０５、９０９、および９１３の左側にそれぞれ配置されてもよい。参照サブ領域９１３２、９１４２、９１５２、および９１６２は、それぞれ、参照サブブロック９１３～９１６の上側に位置してもよい。参照サブブロック９０１、９０５、９０９、および９１３は、ブロックユニット９００の左境界に位置するサブブロックユニット、および左境界に位置するサブブロックユニットの第２のサブブロックベクトルＶｓ２に基づいて決定されてもよい。参照サブブロック９１３～９１６は、ブロックユニット９００の上部境界に位置するサブブロックユニットおよび上部境界に位置するサブブロックユニットの第２のサブブロックベクトルＶｓ２に基づいて決定されてもよい。

【0146】

デコーダモジュール１２４は、コスト関数を用いて、テンプレート領域と複数の基準領域の各々とに基づいて参照コスト値を決定してもよい。デコーダモジュール１２４は、コスト関数によって、ブロックユニット９００のテンプレート領域９０００と、コロケーティッドブロックのうちの１つにそれぞれ対応する基準領域とを直接比較してもよい。例えば、デコーダモジュール１２４は、参照コスト値のうちの１つを生成するために、コロケーティッドブロックのうちの特定の１つに対応する基準領域のうちの特定の１つにおける再構成されたサンプルを、ブロックユニット９００のテンプレート領域９０００における再構成されたサンプルと比較してもよい。

【0147】

コスト関数は、ＳＡＤ、ＳＡＴ）、ＭＡＤ、ＭＳＤ、およびＳＳＩＭを含むテンプレートマッチングコスト関数であってもよいが、これらに限定されない。本開示から逸脱することなければ、任意のコスト関数を使用できることに留意すべきである。

【0148】

参照コスト値、近傍コスト値、平均化コスト値、および動きコスト値を互いに区別するために、参照コスト値を第１のコスト値とし、近傍コスト値を複数の第２のコスト値とし、平均化コスト値を複数の第３のコスト値とし、動きコスト値を複数の第４のコスト値としてもよい。第２のコスト値および第３のコスト値は、方法８００のいくつかの実施形態においてのみ動き候補を決定するために使用され得るので、方法８００において第２のコスト値および第３のコスト値を使用することは不要であり得る。第４のコスト値は、方法８００のいくつかの実施形態において、コロケーティッドブロックを決定するために使用され得るので、方法８００において第４のコスト値を使用することは不要であり得る。いくつかの実施形態では、第２のコスト値、第３のコスト値、および第４のコスト値のすべてが、動き候補の決定およびコロケーティッドブロックの決定のために方法８００において使用されてもよい。

【0149】

ブロック８８０において、デコーダモジュール１２４は、第１のコスト値に基づいて複数のＳｂＴＭＶＰ候補の配置を決定し、配置に基づいて調整ＳｂＴＭＶＰリストを生成する。

【0150】

図１および図２を参照すると、デコーダモジュール１２４は、第１のコスト値に基づいてＳｂＴＭＶＰ候補の配置を決定し、配置に基づいてＳｂＴＭＶＰ候補を並び替えてもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補は、第１のコスト値の昇順または降順に並び替えてもよい。

【0151】

第１のコスト値に基づいて配置が決定される前に、ＳｂＴＭＶＰ候補は任意のルールに基づいて並べてもよい。例えば、隣接位置と非隣接位置の順序に基づいてＳｂＴＭＶＰ候補を並べてもよい。

【0152】

ＳｂＴＭＶＰ候補は、参照コスト値の昇順に並び替えてもよい。このように、ＳｂＴＭＶＰ候補の特定の１つの参照コスト値が、他のＳｂＴＭＶＰ候補の参照コスト値よりも小さい場合、特定のＳｂＴＭＶＰ候補は、配置に基づいて、第１のＳｂＴＭＶＰ候補となるように前進させられてもよい。言い換えれば、特定のＳｂＴＭＶＰ候補の参照コスト値がＳｂＴＭＶＰ候補の参照コスト値の最小値である場合に、特定のＳｂＴＭＶＰ候補を第１のＳｂＴＭＶＰ候補に繰り上げてもよい。さらに、特定のＳｂＴＭＶＰ候補の参照コスト値がＳｂＴＭＶＰ候補の参照コスト値の最大である場合、特定のＳｂＴＭＶＰ候補をＳｂＴＭＶＰ候補の最後の１つに移動させてもよい。例えば、ＳｂＴＭＶＰ候補の数が６に等しい場合、ＳｂＴＭＶＰ候補は、６つの参照コスト値（ＣＶ１、ＣＶ２、ＣＶ３、ＣＶ４、ＣＶ５、ＣＶ６）を有する６つのＳｂＴＭＶＰ候補ＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５、ＳＣ６を含んでもよい。また、６つの参照コスト値の値順が、ＣＶ４＞ＣＶ２＞ＣＶ５＞ＣＶ１＞ＣＶ６＞ＣＶ３である場合、ＳｂＴＭＶＰ候補の配置を、６つのＳｂＴＭＶＰ候補ＳＣ１、ＳＣ２、ＳＣ３、ＳＣ４、ＳＣ５、ＳＣ６の元の並び順から、６つのＳｂＴＭＶＰ候補ＳＣ３、ＳＣ６、ＳＣ１、ＳＣ５、ＳＣ２、ＳＣ４の新たな並び順に変更してもよい。

【0153】

配置はさらに、ダイバーシティ参照に基づいてＳｂＴＭＶＰ候補の新しい順序を調整することによって決定されてもよい。デコーダモジュール１２４は、新しい順序でＳｂＴＭＶＰ候補の順序の２つの隣接するものから選択された参照コスト値の２つの間の差分値を決定してもよい。差分値がダイバーシティ閾値以下である場合、ＳｂＴＭＶＰ候補の２つの隣接するもののうちの最後の１つを後方に移動してもよい。例えば、６つの参照コスト値の値順は、ＣＶ４＞ＣＶ２＞ＣＶ５＞ＣＶ１＞ＣＶ６＞ＣＶ３であり、参照コスト値ＣＶ１とＣＶ６の２つの差はダイバーシティ閾値以下である。したがって、ＳｂＴＭＶＰ候補ＳＣ１は後方に移動してもよい。したがって、ＳｂＴＭＶＰ候補の配置は、６つのＳｂＴＭＶＰ候補の新しい順序ＳＣ３、ＳＣ６、ＳＣ１、ＳＣ５、ＳＣ２、ＳＣ４のから、６つのＳｂＴＭＶＰ候補の最終的な順序ＳＣ３、ＳＣ６、ＳＣ５、ＳＣ１、ＳＣ２、ＳＣ４にさらに変更してもよい。いくつかの実施形態では、ダイバーシティ基準に基づいてＳｂＴＭＶＰ候補の新しい順序を調整することによって配置を決定しなくてもよいため、配置はＳｂＴＭＶＰ候補の新しい順序と同一であってもよい。

【0154】

デコーダモジュール１２４は、ＳｂＴＭＶＰ候補から最小の参照コスト値を持つＫ個のＳｂＴＭＶＰ候補を選択し、選択したＳｂＴＭＶＰ候補を調整ＳｂＴＭＶＰリストに追加してもよい。正の整数である数Ｋは、調整ＳｂＴＭＶＰリスト内のＳｂＴＭＶＰ候補の数に等しく、ＳｂＴＭＶＰ候補の総量より少なくてもよい。言い換えると、デコーダモジュール１２４は、ＳｂＴＭＶＰ候補を参照コスト値の昇順に並べ替えて配置を生成するときに、その配置に基づいて並べられた１番目からＫ番目のＳｂＴＭＶＰ候補を選択してもよい。いくつかの実施形態では、最初のコスト値の順序が最初のＳｂＴＭＶＰリストにおけるＳｂＴＭＶＰ候補の元の順序と異なる場合、調整ＳｂＴＭＶＰリストは最初のＳｂＴＭＶＰリストと異なってもよい。いくつかの実施形態では、Ｋ個の選択されたＳｂＴＭＶＰ候補の数が初期ＳｂＴＭＶＰリスト内のＳｂＴＭＶＰ候補の数と異なる場合、調整ＳｂＴＭＶＰリストは初期のＳｂＴＭＶＰリストと異なってもよい。いくつかの実施形態では、最初のコスト値の順序が初期ＳｂＴＭＶＰリスト内のＳｂＴＭＶＰ候補の元の順序と同じであり、Ｋ個の選択されたＳｂＴＭＶＰ候補の数が初期のＳｂＴＭＶＰリスト内のＳｂＴＭＶＰ候補の数と等しい場合、調整ＳｂＴＭＶＰリストは初期のＳｂＴＭＶＰリストと同一であってもよい。

【0155】

調整ＳｂＴＭＶＰリスト中のＳｂＴＭＶＰ候補の各々は、ＳｂＴＭＶＰインデックスを持ってもよい。したがって、調整ＳｂＴＭＶＰリスト内のＳｂＴＭＶＰ候補の数はＫに等しいため、調整ＳｂＴＭＶＰリストのＳｂＴＭＶＰインデックスは０からＫ－１のインデックス範囲内であってもよい。

【0156】

ＳｂＴＭＶＰ候補は、複数の分割基準に基づいて複数の候補グループに分割することができる。例えば、ＳｂＴＭＶＰ候補は、近傍位置タイプ、ブロックユニットのブロックサイズ、または少なくとも１つの所定の数に基づいて、複数の候補グループに分割することができる。近傍位置タイプに基づいてＳｂＴＭＶＰ候補を分割する場合、非隣接位置に基づいて生成されたＳｂＴＭＶＰ候補を候補グループの１つに含め、隣接位置に基づいて生成されたＳｂＴＭＶＰ候補を候補グループの他の１つに含め、サブブロック動きベクトルがゼロのＳｂＴＭＶＰ候補を候補グループの他の１つに含めてもよい。例えば、ＳｂＴＭＶＰ候補の数は１０に等しくてもよい。隣接位置に基づいて生成された２つのＳｂＴＭＶＰ候補と、非隣接位置に基づいて生成された７つのＳｂＴＭＶＰ候補と、サブブロック動きベクトルがゼロの１つのＳｂＴＭＶＰ候補とがあってもよい。したがって、ＳｂＴＭＶＰ候補は、２つのＳｂＴＭＶＰ候補を有する第１の候補グループ、７つのＳｂＴＭＶＰ候補を有する第２の候補グループ、および１つのＳｂＴＭＶＰ候補を有する第３の候補グループを含む３つの候補グループに分割されてもよい。

【0157】

さらに、ＳｂＴＭＶＰ候補がブロックユニットのブロックサイズに基づいて分割される場合、デコーダモジュール１２４は、ブロックユニットのブロックサイズに基づいて候補グループのグループサイズを決定してもよい。例えば、ブロックサイズが８×８である場合、グループサイズは３に等しくてもよく、ブロックサイズが１６×１６である場合、グループサイズは５に等しくてもよい。このように、デコーダモジュール１２４は、ルックアップテーブルからのブロックサイズに基づいてグループサイズを決定してもよい。さらに、候補グループのグループサイズは互いに等しくてもよい。いくつかの実施形態では、ブロックサイズは、ブロックユニットの幅であってもよい。いくつかの実施形態では、ブロックサイズはブロックユニットの高さであってもよい。いくつかの実施形態では、ブロックサイズは、ブロックユニットの幅にブロックユニットの高さを乗算することによって生成されるサイズ値であってもよい。いくつかの実施形態では、ブロックサイズは、ブロックユニットの幅をブロックユニットの高さで割ることによって生成されるサイズ値であってもよい。いくつかの実施形態では、ブロックサイズは、ブロックユニットの高さをブロックユニットの幅で割ることによって生成されるサイズ値であってもよい。いくつかの実施形態では、ブロックサイズは、ブロックユニットの幅および／またはブロックユニットの高さに基づいて計算されてもよい。

【0158】

ＳｂＴＭＶＰ候補が前記少なくとも１つの所定の数に基づいて分割される場合、デコーダモジュール１２４は、前記少なくとも１つの所定の数に基づいて候補グループのグループサイズを決定してもよい。候補グループのグループサイズが互いに等しい場合、前記少なくとも１つの所定の数は１に等しくてもよい。候補グループのグループサイズのいくつかが互いに異なる場合、前記少なくとも１つの所定の数は１より大きくてもよい。したがって、デコーダモジュール１２４は、ＳｂＴＭＶＰ候補を、それぞれが同じまたは異なるグループサイズを有する複数の候補グループに分割してもよい。さらに、前記少なくとも１つの所定の数１に等しい場合、ＳｂＴＭＶＰ候補の数が前記所定の数で割り切れない場合があるため、最後の候補グループのグループサイズは、他の候補グループのグループサイズと異なってもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補の数は５に等しくてもよい。ＳｂＴＭＶＰ候補を分割するための所定の数は、３に等しくてもよい。第１の候補グループのＳｂＴＭＶＰ候補は、それぞれ対応するインデックス０、１、２を有する候補ＳｂＴＭＶＰ０、ＳｂＴＭＶＰ１、ＳｂＴＭＶＰ２としてもよく、第２の候補グループのＳｂＴＭＶＰ候補は、それぞれ対応するインデックス３、４を有する候補ＳｂＴＭＶＰ３、ＳｂＴＭＶＰ４としてもよい。

【0159】

いくつかの実施形態では、候補グループのグループサイズは互いに異なっていてもよい。したがって、候補グループの数がｘに等しい場合、グループサイズはＮ１、Ｎ２、Ｎ３、．．．、Ｎｘに等しくてもよい。例えば、ＳｂＴＭＶＰ候補を２つの候補グループに分割してもよい。第１の候補グループには、０から（Ｎ１－１）までのインデックスを持つ最初のＮ１個のＳｂＴＭＶＰ候補を含めてもよく、第２の候補グループには、Ｎ１から（Ｎ１＋Ｎ２－１）までのインデックスを持つＮ２個のＳｂＴＭＶＰ候補を含めてもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補の数は１５に等しくてもよい。ＳｂＴＭＶＰ候補を分割するための所定の数は、４、５、および６に等しくてもよい。したがって、ＳｂＴＭＶＰ候補は、それぞれ異なるグループサイズを持つ３つの候補グループに分割されてもよい。第１のサブグループには、０から３までのインデックスを持つ４つのＳｂＴＭＶＰ候補が含まれ、第２のサブグループには、４から８までのインデックスを持つ５つのＳｂＴＭＶＰ候補が含まれてもよい。第３のサブグループは、９から１４までのインデックスを有する６つのＳｂＴＭＶＰ候補を含んでもよい。

【0160】

ＳｂＴＭＶＰ候補は、デコーダモジュール１２４がＳｂＴＭＶＰ候補のうちの１つを選択するためにいくつのＳｂＴＭＶＰ候補を収集するかを導出するために使用される収集インデックスに基づいて収集されてもよい。例えば、収集インデックスが、選択されたＳｂＴＭＶＰ候補がｐ番目の候補グループに含まれることを示す場合、デコーダモジュール１２４によって収集されるＳｂＴＭＶＰ候補の数は、Ｎ１、Ｎ２、．．．、Ｎｐの合計よりも大きくてもよい。言い換えれば、デコーダモジュール１２４は、Ｐ個のＳｂＴＭＶＰ候補のみを収集してもよく、Ｐ個のＳｂＴＭＶＰ候補の量は、第１のｐ番目の候補グループに分配するのに十分であってもよい。いくつかの実施形態では、収集インデックスは、候補グループのどれが選択されたＳｂＴＭＶＰ候補を含むかを示す候補グループインデックスであってもよい。いくつかの実施形態では、選択されたＳｂＴＭＶＰ候補を直接示す予測インデックスを、収集されたＳｂＴＭＶＰ候補の数を導出するための収集インデックスとして使用してもよい。例えば、ＳｂＴＭＶＰ候補の数は１５に等しく、ＳｂＴＭＶＰ候補を分割するための前記所定の数は４、５、６に等しくてもよい。解析された予測インデックスが５に等しい場合、選択されたＳｂＴＭＶＰ候補は第２の候補グループに含まれてもよい。このように、デコーダモジュール１２４は、収集されたＳｂＴＭＶＰ候補が９個になると、ＳｂＴＭＶＰ候補の収集を停止してもよい。

【0161】

いくつかの実施形態では、候補グループの各々に含まれるＳｂＴＭＶＰ候補は、候補グループの対応する１つに含まれるＳｂＴＭＶＰ候補の参照コスト値の昇順に並び替えてもよい。このように、候補グループのうちの特定の１つに含まれるＳｂＴＭＶＰ候補のうちの特定の１つのＳｂＴＭＶＰ候補の参照コスト値が、特定の候補グループに含まれる他のＳｂＴＭＶＰ候補の参照コスト値よりも小さい場合、特定のＳｂＴＭＶＰ候補は、配置に基づいて、特定の候補グループ内の第１のＳｂＴＭＶＰ候補となるように前進させてもよい。言い換えれば、特定候補グループ内の特定ＳｂＴＭＶＰ候補の参照コスト値が特定候補グループの参照コスト値の最小値である場合に、特定ＳｂＴＭＶＰ候補を特定候補グループ内の第１のＳｂＴＭＶＰ候補に繰り上げてもよい。

【0162】

図８に戻り、ブロック８９０において、デコーダモジュール１２４は、調整ＳｂＴＭＶＰリストに基づいてブロックユニットを再構成する。

【0163】

図１および図２を参照すると、デコーダモジュール１２４は、予測インデックスに基づいて、調整ＳｂＴＭＶＰリストから配置に基づいて並べられたＳｂＴＭＶＰ候補のうちの１つを選択してもよい。予測インデックスは、調整ＳｂＴＭＶＰリストの配列に基づいて並べられたＳｂＴＭＶＰ候補から、ブロックユニットの予測候補を示してもよい。いくつかの実施形態では、予測インデックスは、ＳｂＴＭＶＰ候補のうち選択された１つを決定するためのインデックスＳｂＴＭＶＰ＿ｉｄｘであってもよい。

【0164】

調整ＳｂＴＭＶＰリストにおけるＳｂＴＭＶＰインデックスのインデックス値は、０からＫ－１のインデックス範囲内であってもよい。したがって、ＳｂＴＭＶＰインデックスのインデックス値がＫ－１より大きくない場合があるため、配列によって並べられたＳｂＴＭＶＰ候補のうちＫ番目以降に並べられたＳｂＴＭＶＰ候補は、予測候補の選択から除外してもよい。

【0165】

いくつかの実施形態では、調整ＳｂＴＭＶＰリスト内の配置に基づいて並べられたＳｂＴＭＶＰ候補は、候補リストに追加されてもよい。デコーダモジュール１２４は、予測インデックスに基づいて、配置に基づいて並べられたＳｂＴＭＶＰ候補を含む複数のモード候補のうちの１つを選択してもよい。予測インデックスは、ブロックユニットの予測候補を示してよい。例えば、候補リストはサブブロックマージリストであってもよく、予測インデックスはサブブロックマージインデックスであってもよい。さらに、候補リストはマージリストであってもよく、予測インデックスはマージインデックスであってもよい。

【0166】

デコーダモジュール１２４は、ビットストリーム内のインデックスに基づいてＳｂＴＭＶＰ候補のうちの選択された１つを決定し、選択されたＳｂＴＭＶＰ候補に基づいて予測候補を決定してもよい。次に、デコーダモジュール１２４は、選択されたＳｂＴＭＶＰ候補に基づいて、ブロックユニットの予測ブロックを生成してもよい。

【0167】

デコーダモジュール１２４は、さらに、複数の残留成分を予測ブロックに追加して、ブロックユニットを再構成してもよい。残留成分は、ビットストリームから決定してもよい。デコーダモジュール１２４は、画像フレームおよびビデオデータを再構成するために、画像フレーム内の他のすべてのブロックユニットを再構成してもよい。

【0168】

方法３００と方法８００とを組み合わせることによって生成される別の方法Ｍ２は、図１および図２に示される構成を使用して実行されてもよく、これらの図の様々な要素は、方法３００および方法８００に関して参照される。

【0169】

方法Ｍ２において、デコーダモジュール１２４は、方法３００のブロック３１０～３６０に基づいてビデオデータをデコードしてもよい。次に、デコーダモジュール１２４は、コロケーティッドブロックのコロケーティッドコスト値に基づいて、コロケーティッドブロックの一部を選択してもよい。例えば、コロケーティッドブロックの前記部分の数がＹに等しいとき、Ｙ個のコロケーティッドブロックが、Ｙ個のコロケーティッド候補を決定するために、コロケーティッドコスト値のうちのＹ個の最も低いものに基づいて選択されてもよい。数Ｙは正の整数であってもよい。

【0170】

方法Ｍ２において、Ｙ個のコロケーティッドブロックが選択された後、デコーダモジュール１２４は、方法８００のブロック８６０～８９０に基づいてビデオデータをデコードしてもよい。このように、デコーダモジュール１２４は、ブロックユニットを再構成するためのＹ個のコロケーティッドブロックの動き情報に基づいて、ＳｂＴＭＶＰ候補を導出してもよい。

【0171】

図１０は、本開示の実施形態による、図１に示される第１の電子装置１１０のエンコーダモジュール１１４のブロック図を示す。エンコーダモジュール１１４は、予測プロセッサ（例えば、予測プロセスユニット１０１４１）、少なくとも第１の加算器（例えば、第１の加算器１０１４２）および第２の加算器（例えば、第２の加算器１０１４５）、変換／量子化プロセッサ（例えば、変換／量子化ユニット１０１４３）、逆量子化／逆変換プロセッサ（例えば逆量子化／逆変換ユニット１０１４４）、フィルタ（例えばフィルタリングユニット１０１４６）、デコードピクチャバッファ（例えばデコードピクチャバッファ１０１４７）、エントロピーエンコーダ（例えばエントロピーエンコードユニット１０１４８）を含んでもよい。エンコーダモジュール１１４の予測プロセスユニット１０１４１は、パーティションプロセッサ（例えば、パーティションユニット１０１４１１）、イントラ予測プロセッサ（例えば、イントラ予測ユニット１０１４１２）、およびインター予測プロセッサ（例えば、インター予測ユニット１０１４１３）をさらに含んでもよい。

【0172】

エンコーダモジュール１１４は、ソースビデオを受信し、ソースビデオをエンコードしてビットストリームを出力してもよい。エンコーダモジュール１１４は、複数の画像フレームを含むソースビデオを受信し、コード構造に従って画像フレームを分割してもよい。画像フレームの各々は、少なくとも１つの画像ブロックに分割してもよい。

【0173】

前記少なくとも１つの画像ブロックは、複数のルミナンスサンプルを有するルミナンスブロックと、複数のクロミナンスサンプルを有する少なくとも１つのクロミナンスブロックとを含んでもよい。ルミナンスブロックおよび少なくとも１つのクロミナンスブロックは、マクロブロック、コーディングツリーユニット（ＣＴＵ）、コーディングブロック（ＣＢ）、そのサブ分割、および／または別の等価なコーディングユニットを生成するためにさらに分割されてもよい。

【0174】

エンコーダモジュール１１４は、ソースビデオの追加のサブ分割を実行してもよい。開示された実施形態は、ソースビデオがコーディングの前および／またはコーディングの間にどのように分割されるかに関係なく、一般にビデオコーディングに適用可能であることに留意されたい。

【0175】

コーディング処理中、予測プロセスユニット１０１４１は、画像フレームの特定の１つの現在の画像ブロックを受信してもよい。現在の画像ブロックは、特定の画像フレームのルミナンスブロックまたは１つのクロミナンスブロックであってもよい。

【0176】

パーティションユニット１０１４１１は、現在の画像ブロックを複数のブロックユニットに分割してもよい。イントラ予測ユニット１０１４１２は、空間予測を提供するために、現在のブロックユニットと同じフレーム内の１つまたは複数の近傍ブロックに対する現在のブロックユニットのイントラ予測コーディングを実行してもよい。インター予測ユニット１０１４１３は、時間予測を提供するために、１つまたは複数の参照画像ブロック内の１つまたは複数のブロックに対する現在のブロックユニットのインター予測コーディングを実行してもよい。

【0177】

予測プロセスユニット１０１４１は、コスト関数などのモード選択方法に基づいて、イントラ予測ユニット１０１４１２およびインター予測ユニット１０１４１３によって生成されたーディング結果の一方を選択してもよい。モード選択方法は、ＲＤＯ（Ｒａｔｅ－ＤｉｓｔｏｒｔｉｏｎＯｐｔｉｍｉｚａｔｉｏｎ）処理であってもよい。

【0178】

予測プロセスユニット１０１４１は、選択されたコーディング結果を決定し、選択されたコーディング結果に対応する予測されたブロックを、残留ブロックを生成するための第１の加算器１０１４２と、エンコードされたブロックユニットを再構成するための第２の加算器１０１４５に提供してもよい。予測プロセスユニット１０１４１はさらに、動きベクトル、イントラモードインジケータ、パーティション情報、および他のシンタックス情報などのシンタックス要素をエントロピーエンコードユニット１０１４８に提供してもよい。

【0179】

イントラ予測ユニット１０１４１２は、現在のブロックユニットをイントラ予測してもよい。イントラ予測ユニット１０１４１２は、現在のブロックユニットをエンコードするために、現在のブロックユニットに隣接する再構成サンプルに向けられたイントラ予測モードを決定してもよい。

【0180】

イントラ予測ユニット１０１４１２は、様々なイントラ予測モードを使用して現在のブロックユニットをエンコードしてもよい。予測プロセスユニット１０１４１のイントラ予測ユニット１０１４１２は、選択されたモードから適切なイントラ予測モードを選択してもよい。イントラ予測ユニット１０１４１２は、クロス成分予測モードを使用して現在のブロックユニットをエンコードし、現在のブロックユニットのルーマ成分に基づいて、現在のブロックユニットの２つのクロマ成分のうちの１つを予測してもよい。イントラ予測ユニット１０１４１２は、現在のブロックユニットの２つのクロマ成分のうちの第２のクロマ成分に基づいて、現在のブロックユニットの２つのクロマ成分のうちの第１のクロマ成分を予測してもよい。

【0181】

インター予測ユニット１０１４１３は、イントラ予測ユニット１０１４１２によって実行されるイントラ予測の代替として、現在のブロックユニットをインター予測してもよい。インター予測ユニット１０１４１３は、動きベクトルを生成するために、現在のブロックユニットの動きを推定する動き推定を行ってもよい。

【0182】

動きベクトルは、参照画像ブロック内の参照ブロックユニットに対する、現在の画像ブロック内の現在のブロックユニットの変位を示してもよい。インター予測ユニット１０１４１３は、デコードピクチャバッファ１０１４７に格納された少なくとも１つの参照画像ブロックを受信し、受信した参照画像ブロックに基づいて動きを推定して動きベクトルを生成してもよい。

【0183】

第１の加算器１０１４２は、予測プロセスユニット１０１４１によって決定された予測ブロックを元の現在のブロックユニットから減算することによって、残留ブロックを生成してもよい。第１の加算器１０１４２は、この減算を実行するコンポーネントを表してもよい。

【0184】

変換／量子化ユニット１０１４３は、残留変換係数を生成するために残留ブロックに変換を適用し、さらにビットレートを低減するために残留変換係数を量子化してもよい。変換は、ＤＣＴ、ＤＳＴ、ＡＭＴ、ＭＤＮＳＳＴ、ＨｙＧＴ、信号依存変換、ＫＬＴ、ウェーブレット変換、整数変換、サブバンド変換、または概念的に類似の変換のうちの１つであってよい。

【0185】

変換は、残留情報を画素値ドメインから周波数ドメインなどの変換ドメインに変換してもよい。量子化の程度は、量子化パラメータを調整することによって変更することができる。

【0186】

変換／量子化ユニット１０１４３は、量子化された変換係数を含む行列のスキャンを実行してもよい。あるいは、エントロピーエンコードユニット１０１４８がスキャンを実行してもよい。

【0187】

エントロピーエンコードユニット１０１４８は、予測プロセスユニット１０１４１および変換／量子化ユニット１０１４３から、量子化パラメータ、変換データ、動きベクトル、イントラモード、パーティション情報、および他のシンタックス情報を含む複数のシンタックス要素を受信してもよい。エントロピーエンコードユニット１０１４８は、シンタックス要素をビットストリームにエンコードしてもよい。

【0188】

エントロピーエンコードユニット１０１４８は、ＣＡＶＬＣ、ＣＡＢＡＣ、ＳＢＡＣ、ＰＩＰＥコーディング、または別のエントロピーコーディング技法を実行することによって、量子化された変換係数をエントロピーエンコードし、エンコードされたビットストリームを生成してもよい。エンコードされたビットストリームは、別のデバイス（すなわち、図１の第２の電子装置１２０）に送信されるか、または後の送信または検索のためにアーカイブされてもよい。

【0189】

逆量子化／逆変換ユニット１０１４４は、後に参照ブロックとして使用するために、画素領域で残留ブロックを再構成するために逆量子化および逆変換を適用してもよい。第２の加算器１０１４５は、デコードピクチャバッファ１０１４７に格納するための再構成ブロックを生成するために、再構成された残留ブロックを予測プロセスユニット１０１４１から提供された予測ブロックに追加してもよい。

【0190】

フィルタリングユニット１０１４６は、再構成されたブロックからブロッキングアーチファクトを除去するために、デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、および／またはＡＬＦを含んでもよい。デブロッキングフィルタ、ＳＡＯフィルタ、バイラテラルフィルタ、およびＡＬＦに加えて、追加のフィルタ（ループ内またはポストループ）を使用してもよい。このようなフィルタは、簡潔にするために図示されておらず、第２の加算器１０１４５の出力をフィルタリングしてもよい。

【0191】

デコードピクチャバッファ１０１４７は、イントラコーディングモードまたはインターコーディングモードなどで、エンコーダモジュール１１４がビデオをエンコードするために使用する参照ブロックを記憶する参照ピクチャメモリであってもよい。デコードピクチャバッファ１０１４７は、ＤＲＡＭ（例えば、ＳＤＲＡＭを含む）、ＭＲＡＭ、ＲＲＡＭ、または他のタイプのメモリデバイスなどの様々なメモリデバイスを含んでよい。デコードピクチャバッファ１０１４７は、エンコーダモジュール１１４の他の構成要素とオンチップであってもよいし、それらの構成要素に対してオフチップであってもよい。

【0192】

ビデオデータをデコード／エンコードする方法３００は、第１の電子装置１１０によって実行されてもよい。エンコーダモジュール１１４は、ビデオデータを受信してもよい。エンコーダモジュール１１４が受信するビデオデータは、ビデオであってもよい。エンコーダモジュール１１４は、ビデオデータに従って、画像からブロックユニットを決定してもよい。エンコーダモジュール１１４は、画像フレームを分割して複数のＣＴＵを生成し、ＣＴＵのうちの１つをさらに分割して、任意のビデオコーディング規格に基づく複数のパーティション方式のうちの１つに従ってブロックユニットを決定してもよい。

【0193】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、ブロックユニットに隣接していない少なくとも１つの非隣接位置を含む複数の候補位置を決定してもよい。候補位置は、ブロックユニットに隣接する複数の近傍位置であってもよい。近傍位置は、ブロックユニットに隣接する複数の隣接位置、またはブロックユニットに隣接しない複数の非隣接位置のうちの少なくとも１つから選択されてもよい。

【0194】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、複数の候補位置から複数の動き候補を決定してもよい。エンコーダモジュール１１４は、候補位置に基づいて、ブロックユニットに隣接する複数の近傍ブロックを決定してもよい。近傍ブロックの各々は、候補位置の少なくとも１つをカバーしてもよい。エンコーダモジュール１１４は、画像フレームからブロックユニットに隣接するテンプレート領域を決定し、画像フレームから複数の近傍領域を決定してもよい。近傍領域のそれぞれは、近傍ブロックの対応する１つに隣接していてもよい。エンコーダモジュール１１４は、ブロックユニットの動き候補を選択するためのコスト関数を用いて、テンプレート領域と複数の近傍領域のそれぞれとに基づいて、近傍コスト値を決定してもよい。エンコーダモジュール１１４は、近傍領域によって計算された近傍コスト値に基づいて、複数の候補ブロックを選択してもよい。候補ブロックは、ブロックユニットを再構成する前に再構成された再構成ブロックであってもよい。候補ブロックのうちの１つが動き情報を有していない場合には、選択された近傍位置のうちの対応する１つに基づいて動き候補が決定されなくてもよい。さらに、動き候補は、ブロックユニットを再構成する前に再構成された複数の前のブロックの複数の前の動き情報を記憶するＦＩＦＯ（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ）テーブルから決定される履歴ベースの候補をさらに含んでもよい。

【0195】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、複数の動き候補に基づいて、１つまたは複数のコロケーティッドフレームのうちの１つにそれぞれ含まれる複数のコロケーティッドブロックを選択してもよい。複数の動き候補の各々は、複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示してよい。エンコーダモジュール１１４は、少なくとも１つの所定の値に基づいて、１つ以上のコロケーティッドフレームを決定してもよい。候補ブロックのうちの特定の１つのフレーム情報における複数のフレームインデックスのうちの１つが、前記少なくとも１つの所定の値のうちの１つに等しいとき、特定の候補ブロックのリスト情報によって示される基準リストのうちの対応する１つから選択される特定の候補ブロックの基準フレームが、１つ以上のコロケーティッドフレームに含まれてもよい。エンコーダモジュール１１４は、特定の動き候補のフレーム情報によって選択された基準フレームが１つまたは複数のコロケーティッドフレームに含まれる場合に、特定の候補ブロックに対応する動き候補の特定の１つを使用して、動きブロックを決定してもよい。各動きブロックは、コロケーティッドブロックとみなされてもよい。いくつかの実施形態において、エンコーダモジュール１１４は、同じ動きベクトルに基づいて、異なるコロケーティッドフレームにおいて生成された動きブロックの各々に対する動きコスト値を決定してもよい。そして、エンコーダモジュール１１４は、動きブロックの動きコスト値を比較して、コロケーティッドブロックを選択してもよい。

【0196】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、複数のコロケーティッドブロックユニットのそれぞれについて、コロケーティッドコスト値を決定してもよい。エンコーダモジュール１１４は、１つ以上のコロケーティッドフレームから、複数のコロケーティッドブロックのうちの１つにそれぞれ隣接する複数のコロケーティッド領域を決定してもよい。コロケーティッド領域の各々は、コロケーティッドブロックの対応する１つの複数の隣接領域のうちの少なくとも１つを含んでもよい。エンコーダモジュール１１４は、コスト関数を用いて、テンプレート領域および複数のコロケーティッド領域のそれぞれに基づいて、コロケーティッドコスト値を決定してもよい。

【0197】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、複数の動き候補および複数の第１のコスト値に基づいて、少なくとも１つのサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を決定する。エンコーダモジュール１１４は、コロケーティッド領域によって計算された第１のコスト値に基づいて、コロケーティッドブロックのうちの少なくとも１つを選択してもよい。少なくとも１つのＳｂＴＭＶＰ候補の各々は、少なくとも１つのコロケーティッド候補の対応する１つに基づいて決定されてもよい。

【0198】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、ブロックユニットを予測するためのコスト関数などのモード選択方法に基づいて、少なくとも１つのＳｂＴＭＶＰ候補を含む候補リスト内の複数のモード候補のうちの１つを選択してもよい。エンコーダモジュール１１４は、複数の予測ブロックを生成するために、候補リスト内の少なくとも１つのＳｂＴＭＶＰ候補に基づいてブロックユニットを予測してもよい。次に、エンコーダモジュール１１４は、予測されたブロックの各々に含まれる複数の予測されたサンプルを、ブロックユニット内の複数の色成分とさらに比較してもよい。このように、エンコーダモジュール１１４は、予測されたブロックの各々についてブロックコスト値を決定し、候補リスト内のモード候補からブロックコスト値に基づいてブロックユニットの予測候補を選択してもよい。モード選択方法は、レート歪み最適化（ＲＤＯ）処理であってもよい。次に、エンコーダモジュール１１４は、ブロックユニットの色成分と、予測モードに基づいて生成された予測サンプルとを比較することにより、複数の残留成分を決定してもよい。さらに、残留成分および予測インデックスは、デコーダデバイスがビデオデータを再構成するためのビットストリームにエンコードされてもよい。予測インデックスは、候補リスト内のモード候補のうちの選択された１つを示してもよい。いくつかの実施形態では、予測インデックスは、候補リストがＳｂＴＭＶＰ候補のみを含む場合、ＳｂＴＭＶＰ候補の選択された１つを決定するためのインデックスＳｂＴＭＶＰ＿ｉｄｘであってもよい。

【0199】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、複数の再構成サンプルを含む再構成ブロックを生成するために、候補リスト内の予測候補に基づいてブロックユニットをさらに再構成してもよい。ブロックユニットの再構成されたサンプルは、ビデオデータ内の複数の後続ブロックを予測するための参照として使用されてもよい。

【0200】

したがって、エンコーダモジュール１１４はまた、ビデオデータをビットストリームにエンコードするためのブロックユニットを予測および再構成するために方法３００を使用してもよい。エンコーダモジュール１１４およびデコーダモジュール１２４は、同じ方法３００を使用してもよいので、エンコーダモジュール１１４およびデコーダモジュール１２４は、ビットストリーム内のビット数を減少させるために同じ並び替えリストを生成してもよい。

【0201】

ビデオデータをデコード／エンコードするための方法３００と同様の方法Ｍ１は、第１の電子装置１１０によって実行されてもよい。方法Ｍ１において、エンコーダモジュール１１４は、方法３００に基づいてビデオデータをエンコードしてもよい。さらに、ブロック３７０において、コロケーティッドブロックのうちの少なくとも１つを選択した後、エンコーダモジュール１１４は、選択された少なくとも１つのコロケーティッドブロックのうちの１つに隣接する複数のシフトブロックの各々をさらに決定する。いくつかの実施形態では、シフトブロックの各々は、図４における複数の隣接位置および複数の非隣接位置を含む複数の近傍位置に基づいて選択されてもよい。

【0202】

図１、図３、および図１０を参照すると、エンコーダモジュール１１４は、コスト関数を使用することによって、テンプレート領域および複数のコロケーティッド領域の各々に基づいて、シフトコスト値を決定してもよい。図７において、エンコーダモジュール１１４は、コスト関数によって、ブロックユニット７００のテンプレート領域７０００と、コロケーティッド領域７７００～７７４０のそれぞれを直接比較してもよい。シフトブロックのコロケーティッド領域に基づいて決定されたシフトコスト値の１つが、コロケーティッドブロックのコロケーティッド領域に基づいて決定されたシフトコスト値よりも小さい場合、シフトブロックの対応する１つは、コロケーティッド候補を決定するためのコロケーティッドブロックを置き換えてもよい。

【0203】

ビデオデータをデコード／エンコードする方法８００は、第１の電子装置１１０によって実行されてもよい。エンコーダモジュール１１４は、ビデオデータを受信してもよい。エンコーダモジュール１１４が受信するビデオデータは、ビデオであってもよい。エンコーダモジュール１１４は、ビデオデータに従って、画像からブロックユニットを決定してもよい。エンコーダモジュール１１４は、画像フレームを分割して複数のＣＴＵを生成し、ＣＴＵのうちの１つをさらに分割して、任意のビデオコーディング規格に基づく複数の分割方式のうちの１つに従ってブロックユニットを決定してもよい。

【0204】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、ブロックユニットに隣接する複数の隣接位置、およびブロックユニットに隣接しない複数の非隣接位置から選択される複数の候補位置を決定してもよい。候補位置は、ブロックユニットに隣接する複数の近傍位置であってもよい。近傍位置は、ブロックユニットに隣接する複数の隣接位置またはブロックユニットに隣接しない複数の非隣接位置の少なくとも一方から選択されてもよい。

【0205】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、複数の候補位置から複数の動き候補を決定してもよい。エンコーダモジュール１１４は、候補位置に基づいて、ブロックユニットに隣接する複数の近傍ブロックを決定してもよい。近傍ブロックの各々は、候補位置の少なくとも１つをカバーしてもよい。エンコーダモジュール１１４は、画像フレームからブロックユニットに隣接するテンプレート領域を決定し、画像フレームから複数の近傍領域を決定してもよい。近傍領域のそれぞれは、近傍ブロックの対応する１つに隣接していてもよい。エンコーダモジュール１１４は、ブロックユニットの動き候補を選択するためにコスト関数を用いて、テンプレート領域と複数の近傍領域のそれぞれとに基づいて、近傍コスト値を決定してもよい。エンコーダモジュール１１４は、近傍領域によって計算された近傍コスト値に基づいて、複数の候補ブロックを選択してもよい。候補ブロックは、ブロックユニットを再構成する前に再構成された再構成ブロックであってもよい。候補ブロックのうちの１つが動き情報を有していない場合には、選択された近傍位置のうちの対応する１つに基づいて動き候補が決定されなくてもよい。さらに、動き候補は、ブロックユニットを再構成する以前に再構成された複数の前のブロックの複数の以前の動き情報を記憶するＦＩＦＯ（ｆｉｒｓｔ－ｉｎ－ｆｉｒｓｔ－ｏｕｔ）テーブルから決定された履歴ベースの候補をさらに含んでもよい。

【0206】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、複数の動き候補に基づいて、それぞれが１つまたは複数のコロケーティッドフレームのうちの１つに含まれる複数のコロケーティッドブロックを決定してもよい。複数の動き候補の各々は、複数の候補位置のうちの１つをカバーする候補ブロックの動きベクトル、リスト情報、およびフレーム情報を示してもよい。エンコーダモジュール１１４は、少なくとも１つの所定の値に基づいて、１つ以上のコロケーティッドフレームを決定してもよい。候補ブロックのうちの特定の１つのフレーム情報の複数のフレームインデックスのうちの１つが、前記少なくとも１つの所定の値のうちの１つに等しいとき、特定の候補ブロックのリスト情報によって示される基準リストのうちの対応する１つから選択される特定の候補ブロックの基準フレームが、１つ以上のコロケーティッドフレームに含まれてもよい。エンコーダモジュール１１４は、特定の動き候補のフレーム情報によって選択された基準フレームが１つまたは複数のコロケーティッドフレームに含まれるとき、特定の候補ブロックに対応する動き候補の特定の１つを使用して、動きブロックを決定してもよい。各動きブロックは、コロケーティッドブロックとみなされてもよい。いくつかの実施形態において、エンコーダモジュール１１４は、同じ動きベクトルに基づいて、異なるコロケーティッドフレームにおいて生成された動きブロックの各々に対する動きコスト値を決定してもよい。そして、エンコーダモジュール１１４は、動きブロックの動きコスト値を比較して、コロケーティッドブロックを選択してもよい。

【0207】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、複数のコロケーティッドブロックの動き情報に基づいて、複数のサブブロックベースの時間動きベクトル予測（ＳｂＴＭＶＰ）候補を導出してもよい。エンコーダモジュール１１４は、コロケーティッドブロックが動き情報を有するか否かを判定してもよい。エンコーダモジュール１１４は、コロケーティッドブロックの動き情報を使用して、コロケーティッドブロックの１つにそれぞれ対応するＳｂＴＭＶＰ候補を決定してもよい。ブロックユニットがＳｂＴＭＶＰ候補に基づいて予測されるとき、ブロックユニットは複数のサブブロックユニットに分割されてもよい。したがって、コロケーティッドブロックのそれぞれも、複数のコロケーティッドサブブロックに分割されてもよい。エンコーダモジュール１１４は、画像フレームを再構成する前に、コロケーティッドフレームが再構成されるので、コロケーティッドブロックの動き情報を使用して、コロケーティッドサブブロックのための複数の第１のサブブロックベクトルＶｓ１を決定してもよい。次に、エンコーダモジュール１１４は、複数の第１のサブブロックベクトルＶｓ１に基づいて、サブブロックユニットのための複数の第２のサブブロックベクトルＶｓ２を導出してもよい。さらに、コロケーティッドサブブロックの特定の１つがユニ予測ブロックに含まれるとき、エンコーダモジュール１１４は、特定のコロケーティッドサブブロックに対応するサブブロックユニットの特定の１つに対して１つの第２のサブブロックベクトルを導出してもよい。さらに、特定のコロケーティッドサブブロックが双予測ブロックに含まれる場合、エンコーダモジュール１１４は、特定のコロケーティッドサブブロックに対応する特定のサブブロックユニットのための２つの第２のサブブロックベクトルを導出してもよい。

【0208】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、複数のＳｂＴＭＶＰ候補の各々に基づいて参照コスト値を決定してもよい。エンコーダモジュール１１４は、コロケーティッドブロックのうちの１つに対応する参照サブブロックに対してそれぞれ生成された複数の参照サブ領域を含む基準領域を決定してもよい。コロケーティッドブロックの特定の１つに対応する参照サブブロックは互いに隣接していない場合があるため、特定のコロケーティッドブロックに対応する参照サブ領域は、Ｍ個の第２のサブブロックベクトルＶｓ２の一部に基づいて決定されてもよい。Ｍ個の第２のサブブロックベクトルＶｓ２の一部は、ブロックユニットの上部境界に位置するサブブロックユニットまたはブロックユニットの左側境界に位置するサブブロックユニットに属してもよい。エンコーダモジュール１１４は、コスト関数を用いて、テンプレート領域と複数の基準領域のそれぞれとに基づいて参照コスト値を決定してもよい。

【0209】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、第１のコスト値に基づいて複数のＳｂＴＭＶＰ候補の配置を決定し、その配置に基づいて調整ＳｂＴＭＶＰリストを生成する。エンコーダモジュール１１４は、参照コスト値に基づいてＳｂＴＭＶＰ候補の配置を決定し、その配置に基づいてＳｂＴＭＶＰ候補を並び替えてもよい。配置はさらに、多様性の基準に基づいてＳｂＴＭＶＰ候補の新しい順序を調整することによって決定されてもよい。いくつかの実施形態では、ＳｂＴＭＶＰ候補は、複数の分割基準に基づいて複数の候補グループに分割してもよい。例えば、ＳｂＴＭＶＰ候補は、近傍位置タイプ、ブロックユニットのブロックサイズ、または少なくとも１つの所定の数に基づいて、複数の候補グループに分割してもよい。さらに、エンコーダモジュール１１４は、Ｐ個のＳｂＴＭＶＰ候補のみを収集してもよく、Ｐ個のＳｂＴＭＶＰ候補の量は、第１のｐ番目の候補グループに分配するのに十分であってもよい。

【0210】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、ブロックユニットを予測するために、コスト関数などのモード選択方法に基づいて、少なくとも１つのＳｂＴＭＶＰ候補を含む候補リスト内の複数のモード候補のうちの１つを選択してもよい。エンコーダモジュール１１４は、複数の予測ブロックを生成するために、候補リスト内の少なくとも１つのＳｂＴＭＶＰ候補に基づいてブロックユニットを予測してもよい。次に、エンコーダモジュール１１４は、予測されたブロックの各々に含まれる複数の予測されたサンプルを、ブロックユニット内の複数の色成分とさらに比較してもよい。このように、エンコーダモジュール１１４は、予測されたブロックの各々についてブロックコスト値を決定し、候補リスト内のモード候補からブロックコスト値に基づいてブロックユニットの予測候補を選択してもよい。モード選択方法は、レート歪み最適化（ＲＤＯ）処理であってもよい。次に、エンコーダモジュール１１４は、ブロックユニットの色成分と、予測モードに基づいて生成された予測サンプルとを比較することにより、複数の残留成分を決定してもよい。さらに、残留成分および予測インデックスは、デコーダデバイスがビデオデータを再構成するためのビットストリームにエンコードされてもよい。予測インデックスは、候補リスト内のモード候補のうちの選択された１つを示してもよい。いくつかの実施形態では、予測インデックスは、候補リストがＳｂＴＭＶＰ候補のみを含む場合に、ＳｂＴＭＶＰ候補のうちの選択された１つを決定するためのインデックスＳｂＴＭＶＰ＿ｉｄｘであってもよい。

【0211】

図１、図８、および図１０を参照すると、エンコーダモジュール１１４は、候補リスト内の予測候補に基づいてブロックユニットをさらに再構成し、複数の再構成サンプルを含む再構成ブロックを生成してもよい。ブロックユニットの再構成されたサンプルは、ビデオデータ内の複数の後続ブロックを予測するための参照として使用されてもよい。

【0212】

したがって、エンコーダモジュール１１４は、また、方法８００を使用して、ビデオデータをビットストリームにエンコードするためにブロックユニットを予測および再構成してもよい。エンコーダモジュール１１４およびデコーダモジュール１２４は、同じ方法８００を使用してもよいので、エンコーダモジュール１１４およびデコーダモジュール１２４は、ビットストリーム内のビット数を減らすために同じ並び替えリストを生成してもよい。

【0213】

ビデオデータをエンコード／デコードする方法である方法３００および方法８００を組み合わせることによって生成される方法Ｍ２は、第１の電子装置１１０によって実行されてもよい。方法Ｍ２において、エンコーダモジュール１１４は、方法３００のブロック３１０～３６０に基づいてビデオデータをエンコードしてもよい。次に、エンコーダモジュール１１４は、コロケーティッドブロックのコロケーティッドコスト値に基づいて、コロケーティッドブロックの一部を選択してもよい。コロケーティッドブロックの一部が選択された後、エンコーダモジュール１１４は、方法８００のブロック８６０～８９０に基づいてビデオデータをエンコードしてもよい。このように、エンコーダモジュール１１４は、ブロックユニットを再構成するために、コロケーティッドブロックの部分の動き情報に基づいてＳｂＴＭＶＰ候補を導出してもよい。

【0214】

開示された実施形態は、あらゆる点で例示的なものであり、制限的なものではないと考えられる。また、本開示は、特定の開示された実施形態に限定されるものではなく、本開示の範囲から逸脱することなく、多くの再配置、修正、および置換が可能であることを理解されたい。

【図面の簡単な説明】

【0215】

本開示の態様は、以下の詳細な開示および対応する図から最もよく理解される。様々な特徴は縮尺通りに描かれておらず、様々な特徴の寸法は、議論を明確にするために任意に増減される場合がある。

【図1】図１は、本開示の実施形態に従ってビデオデータをエンコードおよびデコードするように構成されたシステムのブロック図である。

【図2】図２は、本開示の実施形態による、図１に図示された第２の電子装置のデコーダモジュールのブロック図である。

【図3】図３は、本開示の実施形態による、電子装置によってビデオデータをデコードする方法のフローチャートを示す。

【図4】図４は、本開示の一実施形態によるブロックと複数の候補位置の例示的な実施態を示す説明図である。

【図5】図５Ａ、図５Ｂ、および図５Ｃは、本開示の一実施形態によるテンプレート領域および異なる隣接領域の例示的な実施態を示す図である。

【図6】図６は、本開示の一実施形態による、ブロックユニット及びテンプレート領域を有する画像フレーム、並びに、コロケーティッドブロック及びコロケーティッド領域を有するコロケーティッドフレームの例示的な実施態を示す説明図である。

【図7】図７は、本開示の一実施形態による、ブロックユニット及びテンプレート領域を有する画像フレーム、並びに、コロケーティッドブロック、シフトブロック及びコロケーティッド領域を有するコロケーティッドフレームの例示的な実施態を示す説明図である。