特許 7611300 ＤＭＶＲ基盤のインター予測方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-25

(45)【発行日】2025-01-09

(54)【発明の名称】ＤＭＶＲ基盤のインター予測方法及び装置

(51)【国際特許分類】

   H04N 19/513 20140101AFI20241226BHJP

   H04N 19/46 20140101ALI20241226BHJP

【ＦＩ】

H04N19/513

H04N19/46

【請求項の数】 3

(21)【出願番号】P 2023094243

(22)【出願日】2023-06-07

(62)【分割の表示】P 2021547474の分割

【原出願日】2020-02-07

(65)【公開番号】P2023105177

(43)【公開日】2023-07-28

【審査請求日】2023-06-26

(31)【優先権主張番号】62/805,950

(32)【優先日】2019-02-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】パク ネリ

(72)【発明者】

【氏名】ナム チョンハク

【審査官】白川 瑞樹

(56)【参考文献】

【文献】特許第７２９３３６９（ＪＰ，Ｂ２）

【文献】SETHURAMAN, Sriram，CE9: Results of DMVR related Tests CE9.2.1 and CE9.2.2，JVET-M0147 (version 7)，ITU，2019年01月17日，pp.1-11，JVET-M0147-v7.DOCX

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディング方法において、
ビットストリームから予測モードに関する情報及びレジデュアル情報を取得するステップと、
前記予測モードに関する情報に基づいて、現在ブロックの動きベクトルを導出するステップと、
前記動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、
前記レジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを導出するステップと、
前記予測サンプル及び前記レジデュアルサンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
Ｌ０参照ピクチャとＬ１参照ピクチャに基づいて実行される双予測が前記現在ブロックに適用される場合、現在ピクチャと前記Ｌ０参照ピクチャとの間の距離と前記現在ピクチャと前記Ｌ１参照ピクチャとの間の距離が等しい場合、動きベクトル差分を伴うマージモード（ＭＭＶＤ）が前記現在ブロックに適用されるか否かに関連するＭＭＶＤフラグ情報の値が０と等しい場合、マージモードが前記現在ブロックに適用されるかどうかに関連するマージフラグ情報の値が１と等しい場合、及び前記現在ブロックの双予測加重値インデックス情報の値が０と等しい場合に基づいて、前記動きベクトルを導出するステップは、前記現在ブロックの前記動きベクトルにデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用するかどうかを決定するステップを含み、
前記Ｌ０参照ピクチャと前記Ｌ１参照ピクチャに基づいて実行される前記双予測が前記現在ブロックに適用される場合、前記現在ピクチャと前記Ｌ０参照ピクチャとの間の距離と前記現在ピクチャと前記Ｌ１参照ピクチャとの間の距離が等しい場合、サブブロック基盤のマージモードが前記現在ブロックに適用されるかどうかに関連するサブブロック基盤のマージフラグ情報の値が０と等しい場合、及び前記現在ブロックの前記双予測加重値インデックス情報の値が０と等しい場合に基づいて、前記予測サンプルを導出するステップは、前記予測サンプルに両方向オプティカルフロー（ＢＤＯＦ）を適用するかどうかを決定するステップを含む、映像デコーディング方法。

【請求項2】

エンコーディング装置により実行される映像エンコーディング方法において、
現在ブロックに対する予測モードを導出するステップと、
前記予測モードに基づいて、前記現在ブロックの動きベクトルを導出するステップと、
前記動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいてレジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに基づいてレジデュアル情報を生成するステップと、
前記予測モードに関する情報及び前記レジデュアル情報を含む映像情報をエンコーディングするステップと、を含み、
Ｌ０参照ピクチャとＬ１参照ピクチャに基づいて実行される双予測が前記現在ブロックに適用される場合、現在ピクチャと前記Ｌ０参照ピクチャとの間の距離と前記現在ピクチャと前記Ｌ１参照ピクチャとの間の距離が等しい場合、動きベクトル差分を伴うマージモード（ＭＭＶＤ）が前記現在ブロックに適用されるか否かに関連するＭＭＶＤフラグ情報の値が０と等しい場合、マージモードが前記現在ブロックに適用されるかどうかに関連するマージフラグ情報の値が１と等しい場合、及び前記現在ブロックの双予測加重値インデックス情報の値が０と等しい場合に基づいて、前記動きベクトルを導出するステップは、前記現在ブロックの前記動きベクトルにデコーダ側動きベクトルリファインメント（ＤＭＶＲ）を適用するかどうかを決定するステップを含み、
前記Ｌ０参照ピクチャと前記Ｌ１参照ピクチャに基づいて実行される前記双予測が前記現在ブロックに適用される場合、前記現在ピクチャと前記Ｌ０参照ピクチャとの間の距離と前記現在ピクチャと前記Ｌ１参照ピクチャとの間の距離が等しい場合、サブブロック基盤のマージモードが前記現在ブロックに適用されるかどうかに関連するサブブロック基盤のマージフラグ情報の値が０と等しい場合、及び前記現在ブロックの前記双予測加重値インデックス情報の値が０と等しい場合に基づいて、前記予測サンプルを導出するステップは、前記予測サンプルに両方向オプティカルフロー（ＢＤＯＦ）を適用するかどうかを決定するステップを含む、映像エンコーディング方法。

【請求項3】

映像に対するデータの送信方法において、
請求項２に記載の映像エンコーディング方法を実行することにより、映像情報に対するビットストリームを生成するステップと、
前記ビットストリームを含む前記データを送信するステップと、を含む、データ送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、映像コーディング技術に関し、より詳しくは、ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）に基づいてインター予測を実行する方法及び装置に関する。

【背景技術】

【0002】

最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が多様な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。

【0003】

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。

【0004】

これにより、前記のような多様な特性を有する高解像度、高品質の映像／ビデオの情報を効果的に圧縮して送信または格納し、再生するために、高効率の映像／ビデオ圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、映像コーディング効率を上げる方法及び装置を提供することにある。

【0006】

本文書の他の技術的課題は、効率的なインター予測方法及び装置を提供することにある。

【0007】

本文書の他の技術的課題は、ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）に基づいてインター予測を実行する方法及び装置を提供することにある。

【0008】

本文書の他の技術的課題は、ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）に基づいてインター予測を実行する方法及び装置を提供することにある。

【0009】

本文書の他の技術的課題は、映像コーディング効率を向上させるためのＤＭＶＲの適用可否を決定するための条件及び／またはＢＤＯＦの適用可否を決定するための条件を提供することによって予測性能を向上させる方法及び装置を提供することにある。

【課題を解決するための手段】

【0010】

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、現在ブロックの動きベクトルを導出するステップ、前記現在ブロックの動きベクトルに対してリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を適用するかどうかを決定するステップ、前記現在ブロックの動きベクトルに対してリファインメントを適用することに決定した場合、前記動きベクトルにＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を適用してリファインされた動きベクトルを導出するステップ、前記リファインされた動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップ、及び前記予測サンプルに基づいて前記現在ブロックに対する復元サンプルを生成するステップを含み、前記リファインメントを適用するかどうかを決定するステップは、前記現在ブロックの大きさまたは前記現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいて前記リファインメント適用可否を決定することを特徴とする。

【0011】

本文書の他の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法が提供される。前記方法は、現在ブロックの動きベクトルを導出するステップ、前記現在ブロックの動きベクトルに対してリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を適用するかどうかを決定するステップ、前記現在ブロックの動きベクトルに対してリファインメントを適用することに決定した場合、前記動きベクトルにＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を適用してリファインされた動きベクトルを導出するステップ、前記リファインされた動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップ、前記予測サンプルに基づいてレジデュアルサンプルを導出するステップ、前記レジデュアルサンプルに基づいてレジデュアル情報を生成するステップ、及び前記レジデュアル情報を含む映像情報をエンコーディングするステップを含み、前記リファインメントを適用するかどうかを決定するステップは、前記現在ブロックの大きさまたは前記現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいて前記リファインメント適用可否を決定することを特徴とする。

【発明の効果】

【0012】

本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。

【0013】

本文書によると、効率的なインター予測を介して計算複雑度を減らすことができ、全般的なコーディング効率を向上させることができる。

【0014】

本文書によると、動き補償過程で動き情報をリファインメントするＤＭＶＲ及び／またはＢＤＯＦを適用するにあたって、多様な適用条件を提案することによって、複雑度及び性能面での効率性を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本文書の実施例に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【図2】本文書の実施例に適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

【図3】本文書の実施例に適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【図4】ｔｒｕｅ双予測でＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【図5】ＤＭＶＲ及びＢＤＯＦの適用条件をチェックしてデコーディング過程を実行する方法を示す一例である。

【図6】ＤＭＶＲ及びＢＤＯＦの適用条件をチェックしてデコーディング過程を実行する方法を示す他の例である。

【図7】ＤＭＶＲ及びＢＤＯＦの適用条件をチェックしてデコーディング過程を実行する方法を示す他の例である。

【図8】本文書の一実施例によってエンコーディング装置により実行されることができるエンコーディング方法を概略的に示す流れ図である。

【図9】文書の一実施例によってデコーディング装置により実行されることができるデコーディング方法を概略的に示す流れ図である。

【図10】本文書で開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。

【発明を実施するための形態】

【0016】

本文書は、多様な変更を加えることができ、種々な実施例を有することができ、特定実施例を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施例に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

【0017】

一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成を複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も本文書の本質から外れない限り、本文書の権利範囲に含まれる。

【0018】

以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略されることができる。

【0019】

図１は、本文書の実施例に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【0020】

図１を参照すると、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。

【0021】

前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0022】

ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。

【0023】

エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0024】

送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。

【0025】

デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。

【0026】

レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。

【0027】

この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、または、次世代ビデオ／映像コーディング標準（例えば、Ｈ．２６７またはＨ．２６８等）に開示される方法に適用されることができる。

【0028】

この文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は、互いに組み合わせられて実行されることもできる。

【0029】

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル以内のＣＴＵ行の四角領域を示すことができる（ａ ｂｒｉｃｋ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｉｎ ａ ｐｉｃｔｕｒｅ）。タイルは、複数のブリックにパーティショニングされることができ、各ブリックは、前記タイル内の一つ以上のＣＴＵ行で構成されることができる（Ａ ｔｉｌｅ ｍａｙ ｂｅ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ，ｅａｃｈ ｏｆ ｗｈｉｃｈ ｃｏｎｓｉｓｔｉｎｇ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ｔｈｅ ｔｉｌｅ）。また、複数のブリックにパーティショニングされないタイルはブリックと呼ばれることもできる（Ａ ｔｉｌｅ ｔｈａｔ ｉｓ ｎｏｔ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ ｍａｙ ｂｅ ａｌｓｏ ｒｅｆｅｒｒｅｄ ｔｏ ａｓ ａ ｂｒｉｃｋ）。ブリックスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的オーダリングを示すことができ、前記ＣＴＵは、ブリック内でＣＴＵラスタースキャンで整列されることができ、タイル内のブリックは、前記タイルの前記ブリックのラスタースキャンで連続的に整列されることができ、そして、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンで連続的に整列されることができる（Ａ ｂｒｉｃｋ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｂｒｉｃｋ， ｂｒｉｃｋｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｂｒｉｃｋｓ ｏｆ ｔｈｅ ｔｉｌｅ， ａｎｄ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルは、特定タイル列及び特定タイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅は、ピクチャパラメータセット内のシンタックス要素により明示されることができる（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行は、ＣＴＵの四角領域であり、前記四角領域は、ピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは、前記ピクチャの高さと同じである（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的オーダリングを示すことができ、前記ＣＴＵは、タイル内のＣＴＵラスタースキャンで連続的に整列されることができ、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンで連続的に整列されることができる（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは、ピクチャの整数個のブリックを含むことができ、前記整数個のブリックは、一つのＮＡＬユニットに含まれることができる（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｂｒｉｃｋｓ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）。スライスは、複数の完全なタイルで構成されることができ、または、一つのタイルの完全なブリックの連続的なシーケンスである（Ａ ｓｌｉｃｅ ｍａｙ ｃｏｎｓｉｓｔｓ ｏｆ ｅｉｔｈｅｒ ａ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ｏｎｌｙ ａ ｃｏｎｓｅｃｕｔｉｖｅ ｓｅｑｕｅｎｃｅ ｏｆ ｃｏｍｐｌｅｔｅ ｂｒｉｃｋｓ ｏｆ ｏｎｅ ｔｉｌｅ）。この文書において、タイルグループとスライスとは混用されることができる。例えば、本文書において、ｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒは、ｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれることができる。

【0030】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。

【0031】

ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0032】

この文書において「／」と「、」とは、「及び／または」と解釈される。例えば、「Ａ／Ｂ」は、「Ａ及び／またはＢ」と解釈され、「Ａ、Ｂ」は、「Ａ及び／またはＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は、「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／またはＣのうち少なくとも一つ」を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／”ａｎｄ “，”ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．”Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ，Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”Ａｌｓｏ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）

【0033】

追加的に、本文書において「または」は、「及び／または」と解釈される。例えば、「ＡまたはＢ」は、１）「Ａ」のみを意味し、または２）「Ｂ」のみを意味し、または３）「Ａ及びＢ」を意味することができる。その他の表現として、本文書の「または」は、「追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．”Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）

【0034】

図２は、本文書の実施例に適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。

【0035】

図２を参照すると、エンコーディング装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施例によって一つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。

【0036】

映像分割部２１０は、エンコーディング装置２００に入力された入力映像（または、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、一つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0037】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すこともでき、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、一つのピクチャ（または、映像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0038】

エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）からインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

【0039】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または、離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

【0040】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない場合がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。

【0041】

予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することもできる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0042】

前記予測部（インター予測部２２１及び／または前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏeｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックに適用されることもできる。

【0043】

量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信し、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／またはシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、または、デジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。

【0044】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0045】

一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0046】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。

【0047】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0048】

メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0049】

図３は、本文書の実施例に適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【0050】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。

【0051】

ビデオ／映像情報を含むビットストリームが入力されると、デコーディング装置３００は、図２のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを利用してデコーディングを実行することができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／またはターナリツリー構造にしたがって分割されることができる。コーディングユニットから一つ以上の変換ユニットが導出されることができる。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。

【0052】

デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にも基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされ、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基づいてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しく、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するｂｉｎを受信し、デコーディング対象のシンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ｂｉｎの文脈モデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出することができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコーディング部３１０の構成要素であることもある。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち少なくとも一つを含むことができる。

【0053】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0054】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0055】

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0056】

予測部３２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動映像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。

【0057】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを利用して、現在ブロックに適用される予測モードを決定することもできる。

【0058】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0059】

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／またはイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0060】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使用されることもできる。

【0061】

一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0062】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0063】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。

【0064】

本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例は、各々、デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。

【0065】

前述したように、ビデオコーディングを実行するにあたって圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに関する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0066】

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングすることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0067】

一方、前述したように、現在ブロックに対する予測を実行するにあたってイントラ予測またはインター予測を適用することができる。以下では現在ブロックにインター予測を適用する場合に関して説明する。

【0068】

エンコーディング／デコーディング装置の予測部（より具体的に、インター予測部）は、ブロック単位でインター予測を実行して予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素（例：サンプル値、または動き情報等）に依存した方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック、またはサンプル単位で予測できる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、現在ブロックの隣接ブロックに基づいて動き情報候補リストが構成されることができ、現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグまたはインデックス情報がシグナリングされることができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報と同じである。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない場合がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を利用して現在ブロックの動きベクトルを導出することができる。

【0069】

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）によってＬ０動き情報及び／またはＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトルまたはＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトルまたはＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づく予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づく予測はＬ１予測と呼ばれることができ、Ｌ０動きベクトル及びＬ１動きベクトルの両方共に基づく予測は双（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、現在ピクチャより出力順序上以後ピクチャを含むことができる。以前ピクチャは、順方向（参照）ピクチャと呼ばれることができ、以後ピクチャは、逆方向（参照）ピクチャと呼ばれることができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以後ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデクシングされ、以後ピクチャはその次にインデクシングされることができる。参照ピクチャリストＬ１は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリスト１内で以後ピクチャが先にインデクシングされ、以前ピクチャはその次にインデクシングされることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応されることができる。

【0070】

また、現在ブロックにインター予測を適用するにあたって、多様なインター予測モードが使われることができる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、ＨＭＶＰ（ｈｉｓｔｏｒｉｃａｌ ｍｏｔｉｎｏ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードなど、多様なモードが使われることができる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随的なモードとしてさらに使用されることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。本文書において、一部モード及び／または一部モードにより導出された動き情報候補は、他のモードの動き情報関連候補のうち一つとして含まれることもできる。

【0071】

現在ブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置にシグナリングされることができる。このとき、予測モード情報は、ビットストリームに含まれてデコーディング装置に受信されることができる。予測モード情報は、多数の候補モードのうち一つを指示するインデックス情報を含むことができる。または、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、予測モード情報は、一つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモード適用可否を指示し、スキップモードが適用されない場合にマージフラグをシグナリングしてマージモード適用可否を指示し、マージモードが適用されない場合にＭＶＰモードが適用されることと指示し、または追加的な区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは、独立的なモードでシグナリングされることもでき、またはマージモードまたはＭＶＰモードなどに従属的なモードでシグナリングされることもできる。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。

【0072】

また、現在ブロックにインター予測を適用するにあたって、現在ブロックの動き情報を利用することができる。エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出することができる。例えば、エンコーディング装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを利用して相関性が高い類似した参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索でき、これを介して動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）基盤のサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（または、現在ブロックのテンプレート）と参照ブロック（または、参照ブロックのテンプレート）との間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて多様な方法によってデコーディング装置にシグナリングされることができる。

【0073】

前記のようにインター予測モードによって導出された動き情報に基づいて現在ブロックに対する予測されたブロックを導出することができる。予測されたブロックは、現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトル（ＭＶ）が分数サンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が実行されることができ、これを介して参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィン（Ａｆｆｉｎｅ）インター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測が適用される場合、Ｌ０予測（即ち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を利用した予測）に基づいて導出された予測サンプルと、Ｌ１予測（即ち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を利用した予測）に基づいて導出された予測サンプルと、の（位相による）加重和または加重平均を介して導出された予測サンプルが、現在ブロックの予測サンプルとして利用されることができる。双予測が適用される場合、Ｌ０予測に利用された参照ピクチャとＬ１予測に利用された参照ピクチャが、現在ピクチャを基準にして互いに異なる時間的方向に位置する場合、（即ち、双予測かつ両方向予測に該当する場合）これをｔｒｕｅ双予測と呼ぶことができる。

【0074】

導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成されることができ、以後インループフィルタリングなどの手順が実行されることができることは、前述した通りである。

【0075】

一方、スキップモード及び／またはマージモードは、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）無しで隣接ブロックの動きベクトルに基づいて現在ブロックの動きを予測するため、動き予測において限界を示す。スキップモード及び／またはマージモードの限界を改善するために、ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）、ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）モードなどを適用して動きベクトルをリファイン（ｒｅｆｉｎｅ）することができる。ＤＭＶＲ、ＢＤＯＦモードは、現在ブロックにｔｒｕｅ双予測が適用される場合に使われることができる。

【0076】

図４は、ｔｒｕｅ双予測でＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【0077】

ＤＭＶＲは、デコーダ側で隣接ブロックの動き情報をリファイン（ｒｅｆｉｎｅｍｅｎｔ）して動き予測を実行する方法である。ＤＭＶＲが適用される場合、デコーダは、マージ（ｍｅｒｇｅ）／スキップ（ｓｋｉｐ）モードで隣接ブロックの動き情報を利用して生成されたテンプレート（ｔｅｍｐｌａｔｅ）に基づいてｃｏｓｔ比較を介してリファインされた動き情報を誘導することができる。この場合、付加的なシグナリング情報無しで動き予測の精密度を高め、圧縮性能を向上させることができる。

【0078】

本文書において、説明の便宜のためにデコーディング装置を中心に説明するが、本文書の実施例に係るＤＭＶＲは、エンコーディング装置でも同じ方法で実行されることができる。

【0079】

図４を参照すると、デコーディング装置は、ｌｉｓｔ０及びｌｉｓｔ１方向の初期動きベクトル（または、動き情報）（例：ＭＶ０及びＭＶ１）により識別される予測ブロック（即ち、参照ブロック）を導出し、導出された予測ブロックを加重和（例えば、平均）してテンプレート（または、ｂｉｌａｔｅｒａｌ ｔｅｍｐｌａｔｅ）を生成することができる（ｓｔｅｐ１）。ここで、初期動きベクトル（ＭＶ０及びＭＶ１）は、マージ／スキップモードで隣接ブロックの動き情報を利用して誘導された動きベクトルを示すことができる。

【0080】

そして、デコーディング装置は、テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）動作を介してテンプレートと参照ピクチャのサンプル領域間の差分値を最小化する動きベクトル（例：ＭＶ０′及びＭＶ１′）を誘導することができる（ｓｔｅｐ２）。ここで、サンプル領域は、参照ピクチャ内で初期予測ブロックの隣接領域を示し、サンプル領域は、隣接領域、参照領域、探索領域、探索範囲、探索空間などで呼ばれることができる。テンプレートマッチング動作は、テンプレートと参照ピクチャのサンプル領域間のｃｏｓｔ測定値を計算する動作を含むことができる。例えば、ｃｏｓｔ測定にはＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）が利用されることができる。一例として、ｃｏｓｔ関数として正規化されたＳＡＤが使われることができる。このとき、ｍａｔｃｈｉｎｇ ｃｏｓｔは、ＳＡＤ（Ｔ－ｍｅａｎ（Ｔ）、２＊Ｐ［ｘ］－２＊ｍｅａｎ（Ｐ［ｘ］））として与えられることができる。ここで、Ｔは、テンプレートを示し、Ｐ［ｘ］は、探索領域内のブロックを示す。そして、２個の参照ピクチャの各々に対して最小テンプレートｃｏｓｔを算出する動きベクトルは、更新された動きベクトル（初期動きベクトルを代替する）として考慮されることができる。図４に示すように、デコーディング装置は、更新された動きベクトルＭＶ０′及びＭＶ１′を利用して最終両方向予測結果（即ち、最終両方向予測ブロック）を生成することができる。一実施例として、更新された（または、新しい）動きベクトル誘導のためのｍｕｌｔｉ－ｉｔｅｒａｔｉｏｎが最終両方向予測結果取得に使われることができる。

【0081】

一実施例において、デコーディング装置は、初期動き補償予測（即ち、従来のマージ／スキップモードを介した動き補償予測）の正確度を向上させるためにＤＭＶＲプロセスを呼び出しすることができる。例えば、デコーディング装置は、現在ブロックの予測モードがマージモードまたはスキップモードであり、現在ブロックにディスプレイ順序上現在ピクチャを基準にして両方向の参照ピクチャが反対方向にある両方向双予測が適用される場合、ＤＭＶＲプロセスを実行することができる。

【0082】

前述したように、現在ブロックにｔｒｕｅ双予測が適用される場合、双予測信号をリファインするためにＢＤＯＦが使われることができる。ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）は、現在ブロックに双予測が適用される場合、改善された動き情報を計算し、これに基づいて予測サンプルを生成するために使われることができる。例えば、ＢＤＯＦは、４×４サブブロック（ｓｕｂ－ｂｌｏｃｋ）レベルで適用されることができる。即ち、ＢＤＯＦは、現在ブロック内の４×４サブブロック単位で実行されることができる。または、ＢＤＯＦは、ルマ成分に対してのみ適用されることができる。または、ＢＤＯＦは、クロマ成分に対してのみ適用されることもでき、ルマ成分及びクロマ成分に対して適用されることもできる。

【0083】

ＢＤＯＦモードは、その名称で示すように、オブジェクトの動きがｓｍｏｏｔｈと仮定するオプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）概念を基盤とする。４×４サブブロックの各々に対して、Ｌ０及びＬ１予測サンプル間の差値を最小化することによって、動きリファインメント（ｖ_ｘ、ｖ_ｙ）が計算されることができる。そして、動きリファインメントは、４×４サブブロックで双予測サンプル値を調整するために使われることができる。

【0084】

前述したＤＭＶＲ及びＢＤＯＦは、ｔｒｕｅ双予測を適用する場合（このとき、ｔｒｕｅ双予測は、現在ブロックのピクチャを基準にして異なる方向の参照ピクチャで動き予測／補償する場合を示す）、動き情報をリファインして予測を実行する技術であって、ピクチャ内のオブジェクトの動きが一定速度、一定の方向に行われる場合を仮定しているという点で類似した概念のリファインメント技術であることを知ることができる。ただし、ｔｒｕｅ双予測が実行される場合、ＤＭＶＲを適用するための条件とＢＤＯＦを適用するための条件が異なるため、各技術別に繰り返して数回の条件チェックを実行する過程を経なければならない。したがって、本文書では現在ブロックに適用される予測モードを決定するにあたって、条件チェックを実行する過程を改善することによって、デコーダ複雑度及び性能面で効率を向上させることができる方法を提案する。

【0085】

以下の表１は、既存のｔｒｕｅ双予測時にＤＭＶＲを適用するための条件を示す。以下に羅列した条件を全て満たす時にＤＭＶＲを適用することができる。

【0086】

【表1】

【0087】

前記表１を参照すると、１）ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスでシグナリングされるフラグ情報（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてＤＭＶＲ適用可否を決定することができる。ここで、フラグ情報（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ｔｒｕｅ双予測基盤のＤＭＶＲが可用（ｅｎａｂｌｅ）であるかどうかを示すことができる。例えば、ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合（即ち、ｔｒｕｅ双予測基盤のＤＭＶＲが可用な場合）、ＤＭＶＲ可用可否条件を満たすと判断できる。

【0088】

２）マージモード／スキップモードを使用してインター予測を実行するかを示すフラグ情報（例：ｍｅｒｇｅ＿ｆｌａｇ）に基づいてＤＭＶＲ適用可否を決定することができる。例えば、ｍｅｒｇｅ＿ｆｌａｇが１である場合（即ち、マージモード／スキップモードを使用してインター予測を実行する場合）、マージモード／スキップモード適用可否条件を満たすと判断できる。

【0089】

３）ＭＭＶＤ（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）モードを使用してインター予測を実行するかどうかを示すフラグ情報（例：ｍｍｖｄ＿ｆｌａｇ）に基づいてＤＭＶＲ適用可否を決定することができる。例えば、ｍｍｖｄ＿ｆｌａｇが０である場合（即ち、ＭＭＶＤモードを使用しない場合）、ＭＭＶＤモード適用可否条件を満たすと判断できる。

【0090】

４）両方向予測（双予測）を使用するかどうかに基づいてＤＭＶＲ適用可否を決定することができる。ここで、両方向予測は、現在ピクチャを基準にして互いに異なる方向に存在する参照ピクチャに基づいて実行されるインター予測を示すことができる。例えば、ｐｒｅｄＦｌａｇＬ０［０］［０］＝１であり、ｐｒｅｄＦｌａｇＬ０［１］［１］＝１である場合、両方向予測が適用されると判断でき、両方向予測可否条件を満たすと判断できる。

【0091】

５）ｔｒｕｅ双予測であり、現在ピクチャと両方向の参照ピクチャとの間の距離が相互同じかどうかに基づいてＤＭＶＲ適用可否を決定することができる。即ち、現在ピクチャとＬＯ参照ピクチャ（即ち、参照ピクチャリストＬ０内の参照ピクチャ）との間の距離と、現在ピクチャとＬ１参照ピクチャ（即ち、参照ピクチャリストＬ１内の参照ピクチャ）との間の距離と、が相互同じかどうかを判断することができる。例えば、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）＝０である場合、ｔｒｕｅ双予測であり、現在ピクチャと両方向の参照ピクチャとの間の距離が相互同じであると判断し、両方向の参照ピクチャ距離が同じかどうかの条件を満たすと判断できる。

【0092】

６）現在ブロックの長さ（Ｈｅｉｇｈｔ）が閾値（ｔｈｒｅｓｈｏｌｄ）より大きいかどうかに基づいてＤＭＶＲ適用可否を決定することができる。例えば、現在ブロックの長さが８以上である場合、現在ブロック大きさ（長さ）条件を満たすと判断できる。

【0093】

７）現在ブロックの大きさが閾値（ｔｈｒｅｓｈｏｌｄ）より大きいかどうかに基づいてＤＭＶＲ適用可否を決定することができる。例えば、現在ブロックの大きさ、即ち、長さ（Ｈｅｉｇｈｔ）＊幅（Ｗｉｄｔｈ）が６４以上である場合、現在ブロック大きさ（長さ＊幅）条件を満たすと判断できる。

【0094】

デコーディング装置は、前記表１の条件１）乃至７）を満たすかどうかによってＤＭＶＲ適用可否を決定することができる。即ち、デコーディング装置は、前記表１の条件１）乃至７）が全て満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができ、前記表１の条件のうち一つでも満たされない場合にＤＭＶＲを適用しない。

【0095】

以下の表２は、既存のｔｒｕｅ双予測時にＢＤＯＦを適用するための条件を示す。以下に羅列した条件を全て満たす時、ＢＤＯＦを適用することができる。

【0096】

【表2】

【0097】

前記表２を参照すると、１）ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスでシグナリングされるフラグ情報（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてＢＤＯＦ適用可否を決定することができる。ここで、フラグ情報（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ｔｒｕｅ双予測基盤のＢＤＯＦが可用（ｅｎａｂｌｅ）であるかどうかを示すことができる。例えば、ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合（即ち、ｔｒｕｅ双予測基盤のＢＤＯＦが可用な場合）、ＢＤＯＦ可用可否条件を満たすと判断できる。

【0098】

２）両方向予測を使用するかどうかに基づいてＢＤＯＦ適用可否を決定することができる。ここで、両方向予測は、現在ピクチャを基準にして互いに異なる方向に存在する参照ピクチャに基づいて実行されるインター予測を示すことができる。例えば、ｐｒｅｄＦｌａｇＬ０及びｐｒｅｄＦｌａｇＬ１が全て１である場合、両方向予測が適用されると判断でき、両方向予測可否条件を満たすと判断できる。

【0099】

３）ｔｒｕｅ双予測であるかどうかに基づいてＢＤＯＦ適用可否を決定することができる。即ち、現在ピクチャを基準にして、ＬＯ参照ピクチャ（即ち、参照ピクチャリストＬ０内の参照ピクチャ）とＬ１参照ピクチャ（即ち、参照ピクチャリストＬ１内の参照ピクチャ）とが時間的に互いに異なる方向に位置するかどうかを判断することができる。例えば、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さい場合、現在ピクチャを基準にして両方向の参照ピクチャが互いに異なる方向に位置すると判断し、ｔｒｕｅ双予測可否条件を満たすと判断できる。

【0100】

４）アフィンモードが使われるかどうかに基づいてＢＤＯＦ適用可否を決定することができる。ここで、アフィンモードが使われるかどうかは、ＭｏｔｉｏｎＭｏｄｅｌＩｄｃを誘導することによって判断できる。例えば、誘導されたＭｏｔｉｏｎＭｏｄｅｌＩｄｃが０である場合、アフィンモードが使われないと判断でき、この場合、アフィンモード適用可否条件を満たすと判断できる。

【0101】

５）マージモードでのインター予測がサブブロック単位で実行されるかどうかを示すフラグ情報（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）に基づいてＢＤＯＦ適用可否を決定することができる。例えば、ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが０である場合（即ち、サブブロック単位でマージモードが適用されない場合）、サブブロック基盤のマージモード可否条件を満たすと判断できる。

【0102】

６）ＧＢｉが存在するかどうかに基づいてＢＤＯＦ適用可否を決定することができる。ここで、ＧＢｉが存在するかどうかは、ＧＢｉインデックス情報（例：ＧｂｉＩｄｘ）に基づいて判断できる。例えば、ＧｂｉＩｄｘが０である場合（即ち、ＧｂｉＩｄｘがデフォルトである場合）、ＧＢｉ可否条件を満たすと判断できる。

【0103】

７）現在ブロックがルマ（Ｌｕｍａ）成分を含むルマブロックであるかどうかに基づいてＢＤＯＦ適用可否を決定することができる。例えば、ルマブロックであるかを示すインデックス（例：ｃＩｄｘ）が０である場合（即ち、ルマブロックである場合）、ルマブロック可否条件を満たすと判断できる。

【0104】

デコーディング装置は、前記表２の条件１）乃至７）を満たすかどうかによってＢＤＯＦ適用可否を決定することができる。即ち、デコーディング装置は、前記表２の条件１）乃至７）が全て満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができ、前記表２の条件のうち一つでも満たされない場合にＢＤＯＦを適用しない。

【0105】

前述したように、ＤＭＶＲとＢＤＯＦの適用条件が、一部は同じであり、一部は類似または異なる。既存の方式では条件が同じ場合にも各技術別に条件チェックを実行するようになるため、双予測実行のための複雑度が増加するようになる。したがって、本文書では双予測時にＤＭＶＲとＢＤＯＦを適用するための効率的な条件を提案する。

【0106】

マージ／スキップモードは、ＡＭＶＰモードと比較する時、相対的に動き正確度が低いため、ＤＭＶＲ方法を利用して動き情報をリファインするのが性能面で効果的である。しかし、ＢＤＯＦモードは、ＤＭＶＲとは違ってマージ／スキップモードだけでなく、ＡＭＶＰモードである時も適用しているため、このようにＡＭＶＰモードでＢＤＯＦを適用する場合、性能対比ＢＤＯＦ実行のための複雑度が増加できる。したがって、本実施例ではＤＭＶＲと同様にＢＤＯＦの場合もマージ／スキップモードで適用する方案を提案する。

【0107】

この場合、本文書で提案する一実施例として、ＢＤＯＦの適用条件は、以下の表３に提示された条件を含むことができる。

【0108】

【表3】

【0109】

前記表３を参照すると、マージモード／スキップモードを使用してインター予測を実行するかを示すフラグ情報（例：ｍｅｒｇｅ＿ｆｌａｇ）に基づいてＢＤＯＦ適用可否を決定することができる。例えば、ｍｅｒｇｅ＿ｆｌａｇが１である場合（即ち、マージモード／スキップモードを使用してインター予測を実行する場合）、マージモード／スキップモード適用可否条件を満たすと判断できる。したがって、ＤＭＶＲと同様にＢＤＯＦの場合もマージ／スキップモードである時に適用されることができる。

【0110】

即ち、本実施例では前記マージ／スキップモードである場合に適用する条件と共に、ＢＤＯＦが可用な場合に適用する条件、両方向予測である場合に適用する条件、ｔｒｕｅ双予測である場合に適用する条件、アフィン予測でない場合に適用する条件、サブブロック基盤のマージモードでない場合に適用する条件、ＧＢｉインデックスがデフォルトである場合に適用する条件、ルマブロックである場合に適用する条件に基づいてＢＤＯＦ適用可否を判断することができる。

【0111】

したがって、デコーディング装置は、前記表３に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表３に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表３の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0112】

前記表３で羅列された条件に基づいてｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0113】

一方、本実施例で羅列した条件のうち前記表１及び表２で説明した条件と同じ場合には具体的な動作や意味が同じく適用されるため、各条件に対する具体的な説明は省略する。また、後述する実施例でも重複する内容は省略する。

【0114】

エンコーディング／デコーディング装置の場合、多様なハードウェアを使用して構成されることができ、性能対比複雑度比率の選好が異なることがある。したがって、本実施例ではマージ／スキップモードだけでなく、ＡＭＶＰモードでもＤＭＶＲを適用して動き情報をリファインすることができる方案を提案する。

【0115】

この場合、本文書で提案する一実施例として、ＤＭＶＲの適用条件は、以下の表４に提示された条件を含むことができる。

【0116】

【表4】

【0117】

前記表４を参照すると、マージモード／スキップモードを使用してインター予測を実行するかを示すフラグ情報（例：ｍｅｒｇｅ＿ｆｌａｇ）に基づいてＤＭＶＲ適用可否を決定する過程が省略されることができる。このように、マージモード／スキップモードの適用可否条件を省略することによって、マージモード／スキップモードである場合だけでなく、ＡＭＶＰモードでもＤＭＶＲを適用することができる。

【0118】

前記表４によると、ＤＭＶＲが可用な場合に適用する条件、ＭＭＶＤモードが使われない場合に適用する条件、両方向予測である場合に適用する条件、現在ピクチャと両方向参照ピクチャとの距離が相互同じなｔｒｕｅ双予測である場合に適用する条件、現在ブロックの長さが８以上である場合に適用する条件、現在ブロックの大きさ（長さ＊幅）が６４以上である場合に適用する条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0119】

即ち、デコーディング装置は、前記表４に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表４に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表４の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0120】

前記表４で羅列された条件に基づいて、ｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0121】

一方、本文書の一実施例として、ＤＭＶＲ及びＢＤＯＦは、全て一般的なマージ（ｎｏｒｍａｌ ｍｅｒｇｅ）モードに適用されることができる。即ち、ＡＴＭＶＰ（ａｄｖａｎｃｅｄ ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードでない、アフィンモードでない、ＣＰＲでない場合、ＤＭＶＲ及びＢＤＯＦを適用することができる。この場合、ＤＭＶＲの適用条件は、以下の表５に提示された条件を含むことができる。

【0122】

【表5】

【0123】

前記表５を参照すると、アフィンモードが使われない場合に適用する条件（例：ＭｏｔｉｏｎＭｏｄｅｌＩｄｃが０である場合）、サブブロック基盤のマージモードでない場合に適用する条件（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇが０である場合）を満たすかどうかを判断することによって、一般的なマージモードである場合に限りＤＭＶＲを適用することができる。

【0124】

また、本実施例では前記アフィンモード可否条件、サブブロック基盤のマージモード可否条件と共に、ＤＭＶＲが可用な場合に適用する条件、マージモード／スキップモードである場合に適用する条件、ＭＭＶＤモードが使われない場合に適用する条件、両方向予測である場合に適用する条件、現在ピクチャと両方向参照ピクチャとの距離が相互同じなｔｒｕｅ双予測である場合に適用する条件、現在ブロックの長さが８以上である場合に適用する条件、現在ブロックの大きさ（長さ＊幅）が６４以上である場合に適用する条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0125】

即ち、デコーディング装置は、前記表５に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表５に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表５の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0126】

前記表５の適用条件のうちサブブロック基盤のマージモード適用可否条件（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）は、既存のＤＭＶＲ適用条件のうち重複する条件を含んでいる。したがって、本文書の一実施例として、サブブロック基盤のマージモード適用可否条件（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）と重複する条件を除去することができる。この場合、以下の表６に提案されたように該当条件が除去されることができる。

【0127】

【表6】

【0128】

前記表６を参照すると、サブブロック基盤のマージモードは、現在ブロックの大きさが８×８以上である場合に適用されることができる。したがって、サブブロック基盤のマージモード適用可否条件（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ＝０）は、現在ブロックの大きさと関連した条件を含んでいるため、既存のＤＭＶＲの適用条件の中から現在ブロックの大きさと関連した条件（例：ＣｂＨｅｉｇｈｔ、ＣｂＨｅｉｇｈｔ＊ＣｂＷｉｄｔｈ）を除外させることができる。例えば、現在ブロックの長さが８以上であるかどうかの条件、現在ブロックの長さ＊幅が６４以上であるかどうかの条件は省略し、前記表６に羅列されたその他の条件を利用してＤＭＶＲ適用可否を判断することができる。

【0129】

即ち、デコーディング装置は、前記表６に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表６に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表６の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0130】

前記表５または前記表６で羅列された条件に基づいて、ｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0131】

本文書の一実施例として、低複雑度で動きベクトルの正確度を高めるために、ブロックの大きさが小さい場合には、ＤＭＶＲ及びＢＤＯＦのようなリファイン技術を適用しない。既存の方式では現在ブロックが８×８より大きいまたは同じブロックである場合にリファイン技術を適用しており、このうち、ＤＭＶＲの場合、現在ブロックの大きさが大きい時、１６×１６単位で分けてリファインを適用するため、１６×１６より小さいブロックに対してはＤＭＶＲを適用しない。この場合、ＤＭＶＲの適用条件は、以下の表７に提示された条件を含むことができる。

【0132】

【表7】

【0133】

前記表７を参照すると、現在ブロックの大きさと関連した条件（例：ＣｂＨｅｉｇｈｔ、ＣｂＷｉｄｔｈ）を変更することによって、１６×１６より小さいブロックに対してＤＭＶＲを適用しないようにすることができる。例えば、現在ブロックの長さ（例：ＣｂＨｅｉｇｈｔ）が１６以上である場合に適用する条件と、現在ブロックの幅（例：ＣｂＷｉｄｔｈ）が１６以上である場合に適用する条件と、を使用することができる。このような現在ブロックの大きさと関連した適用条件を満たす場合（即ち、現在ブロックの大きさが１６×１６以上である場合）にＤＭＶＲを適用し、前記のような現在ブロックの大きさと関連した適用条件を満たさない場合（即ち、現在ブロックの大きさが１６×１６より小さい場合）にＤＭＶＲを適用しない。

【0134】

また、本実施例では現在ブロックの大きさと関連した条件（例：ＣｂＨｅｉｇｈｔ、ＣｂＷｉｄｔｈ）と共に、前記表７で羅列された残りの適用条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0135】

即ち、デコーディング装置は、前記表７に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表７に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表７の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0136】

本文書の一実施例として、現在ブロックが１６×１６より小さいブロックである場合、ＤＭＶＲだけでなく、ＢＤＯＦを適用しない。この場合、ＢＤＯＦの適用条件は、以下の表８に提示された条件を含むことができる。

【0137】

【表8】

【0138】

前記表８を参照すると、現在ブロックの大きさと関連した条件（例：ＣｂＨｅｉｇｈｔ、ＣｂＷｉｄｔｈ）を変更することによって、１６×１６より小さいブロックに対してＢＤＯＦを適用しないようにすることができる。例えば、現在ブロックの長さ（例：ＣｂＨｅｉｇｈｔ）が１６以上である場合に適用する条件と、現在ブロックの幅（例：ＣｂＷｉｄｔｈ）が１６以上である場合に適用する条件と、を使用することができる。このような現在ブロックの大きさと関連した適用条件を満たす場合（即ち、現在ブロックの大きさが１６×１６以上である場合）にＢＤＯＦを適用し、前記のような現在ブロックの大きさと関連した適用条件を満たさない場合（即ち、現在ブロックの大きさが１６×１６より小さい場合）にＢＤＯＦを適用しない。

【0139】

また、本実施例では現在ブロックの大きさと関連した条件（例：ＣｂＨｅｉｇｈｔ、ＣｂＷｉｄｔｈ）と共に、前記表８で羅列された残りの適用条件に基づいてＢＤＯＦ適用可否を判断することができる。

【0140】

即ち、デコーディング装置は、前記表８に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表８に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表８の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0141】

前記表７または前記表８で羅列された条件に基づいて、ｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0142】

前述したように、ＤＭＶＲは、現在ピクチャと両方向の参照ピクチャとの間の距離が相互同じな場合に適用し、それに対して、ＢＤＯＦは、現在ピクチャと両方向の参照ピクチャとの間の距離が異なってもｔｒｕｅ双予測である場合に常に適用される。したがって、本文書ではコーディング効率を上げるために、前記両方向の参照ピクチャ距離と関連した条件をＤＭＶＲ及びＢＤＯＦに統一して適用できる方案を提案する。

【0143】

本文書の一実施例として、ＢＤＯＦの適用条件は、以下の表９に提示された条件を含むことができる。

【0144】

【表9】

【0145】

前記表９を参照すると、ＢＤＯＦの適用条件のうち参照ピクチャ距離と関連した条件（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ）を変更することによって、ＤＭＶＲとＢＤＯＦに該当条件を同じく適用できる。例えば、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０であるかどうかを判断することによって、現在ピクチャとＬＯ参照ピクチャ（即ち、参照ピクチャリストＬ０内の参照ピクチャ）との間の距離と、現在ピクチャとＬ１参照ピクチャ（即ち、参照ピクチャリストＬ１内の参照ピクチャ）との間の距離と、が相互同じかどうかを決定することができる。即ち、現在ピクチャと両方向の参照ピクチャとの間の距離が相互同じな場合に限りＢＤＯＦを適用することができる。このように、ｔｒｕｅ双予測であり、かつ両方向の参照ピクチャ距離が同じな条件が追加されるに応じて、ＢＤＯＦ適用範囲が制限されるため、デコーディング複雑度を節減することができる。

【0146】

また、本実施例では参照ピクチャ距離と関連した条件（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ）と共に、前記表９で羅列された残りの適用条件に基づいてＢＤＯＦ適用可否を判断することができる。

【0147】

即ち、デコーディング装置は、前記表９に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表９に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表９の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0148】

本文書の一実施例として、ＤＭＶＲの適用条件は、以下の表１０に提示された条件を含むことができる。

【0149】

【表10】

【0150】

前記表１０を参照すると、ＤＭＶＲの適用条件のうち参照ピクチャ距離と関連した条件（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ）を変更することによって、ＤＭＶＲとＢＤＯＦに該当条件を同じく適用できる。例えば、ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さいかどうかを判断することによって、現在ピクチャを基準にして両方向の参照ピクチャ（即ち、ＬＯ参照ピクチャ及びＬ１参照ピクチャ）が互いに異なる方向に位置するｔｒｕｅ双予測であるかを決定することができる。即ち、現在ピクチャと両方向の参照ピクチャとの間の距離が同じでなくても、ｔｒｕｅ双予測である場合には常にＤＭＶＲを適用することができる。このように、ｔｒｕｅ双予測可否条件が適用されるに応じて両方向の参照ピクチャ距離が異なる場合にもデコーディング複雑度を考慮して誘導された動きベクトルは、スケーリング（ｓｃａｌｉｎｇ）せずに使用することができる。

【0151】

また、本実施例では参照ピクチャ距離と関連した条件（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ）と共に、前記表１０で羅列された残りの適用条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0152】

即ち、デコーディング装置は、前記表１０に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１０に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表１０の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0153】

前記表９または前記表１０で羅列された条件に基づいてｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0154】

一方、各参照ブロックは、光の変化などにより加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）で動き補償をする場合が発生できる。このとき、ＧＢｉやＬＩＣ（ｌｏｃａｌ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）でその現象を把握することができるため、ＧＢｉやＬＩＣ条件を考慮してＤＭＶＲとＢＤＯＦの適用条件を定めることができる。

【0155】

本文書の一実施例として、ＧＢｉ及びＬＩＣ条件を考慮してＤＭＶＲの適用可否を決定する方案を提案する。この場合、ＤＭＶＲの適用条件は、以下の表１１に提示された条件を含むことができる。

【0156】

【表11】

【0157】

前記表１１を参照すると、ＧＢｉ条件（例：ＧｂｉＩｄｘ）及びＬＩＣ条件（例：ＬＩＣＦｌａｇ）を追加してＤＭＶＲの適用可否を決定することができる。ここで、ＧＢｉは、Ｌ０予測及びＬ１予測に異なる加重値（ｗｅｉｇｈｔ）を適用することができる一般的な双予測（ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）を示すことができ、例えば、ＧｂｉＩｄｘを使用して示すことができる。ＧｂｉＩｄｘは、双予測である場合に存在でき、双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）を示すことができる。例えば、ＧｂｉＩｄｘは、マージモードの場合、隣接ブロックから導出されることができ、または、ＭＶＰモードの場合、ＧｂｉＩｄｘシンタックス要素（例：ｇｂｉ＿ｉｄｘ）を介してエンコーディング装置からデコーディング装置にシグナリングされることができる。一例として、ＧｂｉＩｄｘは、Ｌ１予測に適用される加重値ｗを指示することができ、この場合、Ｌ０予測には（１－ｗ）の加重値が適用されることができる。他の例として、ＧｂｉＩｄｘは、Ｌ０予測に適用される加重値ｗを指示することができ、この場合、Ｌ１予測には（１－ｗ）の加重値が適用されることができる。

【0158】

前記表１１によると、ＧｂｉＩｄｘが０である場合（即ち、ＧｂｉＩｄｘがデフォルトである場合）、ＧＢｉ可否条件を満たすと定め、ＬＩＣＦｌａｇが０である場合（即ち、ＬＩＣが存在する場合）、ＬＩＣ可否条件を満たすと定めることができる。

【0159】

また、本実施例ではＧＢｉ条件（例：ＧｂｉＩｄｘ）及びＬＩＣ条件（例：ＬＩＣＦｌａｇ）と共に、前記表１１に羅列された残りの適用条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0160】

即ち、デコーディング装置は、前記表１１に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１１に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表１１の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0161】

本文書の一実施例として、ＧＢｉ及びＬＩＣ条件を考慮してＢＤＯＦの適用可否を決定する方案を提案する。この場合、ＢＤＯＦの適用条件は、以下の表１２に提示された条件を含むことができる。

【0162】

【表12】

【0163】

前記表１２によると、既存のＧＢｉ条件（例：ＧｂｉＩｄｘ）と共にＬＩＣ条件（例：ＬＩＣＦｌａｇ）を追加してＢＤＯＦの適用可否を決定することができる。例えば、ＧｂｉＩｄｘが０である場合（即ち、ＧｂｉＩｄｘがデフォルトである場合）、ＧＢｉ可否条件を満たすと定め、ＬＩＣＦｌａｇが０である場合（即ち、ＬＩＣが存在する場合）、ＬＩＣ可否条件を満たすと定めることができる。

【0164】

したがって、本実施例ではＧＢｉ条件（例：ＧｂｉＩｄｘ）及びＬＩＣ条件（例：ＬＩＣＦｌａｇ）と共に、前記表１２に羅列された残りの適用条件に基づいてＢＤＯＦ適用可否を判断することができる。

【0165】

即ち、デコーディング装置は、前記表１２に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１２に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表１２の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0166】

前記表１１または前記表１２で羅列された条件に基づいてｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0167】

一方、ＤＭＶＲとＢＤＯＦは、デコーディング装置でリファインメント過程を介して動き情報を誘導するため、デコーディング複雑度の問題が発生する。したがって、本文書ではマージインデックスを使用してＤＭＶＲ及びＢＤＯＦの適用可否を決定することができるようにすることで、デコーディング複雑度を減らすことができる方法を提案する。このとき、ＤＭＶＲとＢＤＯＦは、全て制限的な範囲内で動きベクトルのリファインを実行するため、動きベクトルが不正確な場合、ラファインの効果が減ることができる。したがって、本文書ではリファインの効率を考慮してマージインデックスが示す値が小さい場合にのみ、制限的に適用できる方案を提案する。

【0168】

ここで、マージインデックスは、エンコーディング装置からデコーディング装置にシグナリングされるシンタックス要素である。例えば、エンコーディング／デコーディング装置は、現在ブロックにマージモード／スキップモードが適用される場合、現在ブロックの隣接ブロックに基づいてマージ候補リストを構成することができる。このとき、エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）ｃｏｓｔに基づいて、マージ候補リストに含まれているマージ候補の中から最適のマージ候補を選択し、選択されたマージ候補を指すマージインデックス情報をデコーディング装置にシグナリングできる。デコーディング装置は、マージ候補リスト及びマージインデックス情報に基づいて現在ブロックに適用されるマージ候補を選択することができる。

【0169】

本文書の一実施例として、マージインデックスを使用してＤＭＶＲの適用可否を決定する方法は、以下の表１３に提示された条件を含むことができる。

【0170】

【表13】

【0171】

前記表１３を参照すると、マージインデックス条件（例：ｍｅｒｇｅ＿ｉｄｘ）を追加してＤＭＶＲの適用可否を決定することができる。例えば、マージインデックス（例：ｍｅｒｇｅ＿ｉｄｘ）が２より小さい場合、マージインデックス条件を満たすと定めることができる。ここで、マージインデックスの値（ｔｈｒｅｓｈｏｌｄ）を２に設定したが、これは一つの例示に過ぎず、コーディング効率によって該当値は変更されることができる。

【0172】

したがって、本実施例ではマージインデックス条件（例：ｍｅｒｇｅ＿ｉｄｘ）と共に、前記表１３に羅列された残りの適用条件に基づいてＤＭＶＲ適用可否を判断することができる。

【0173】

即ち、デコーディング装置は、前記表１３に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１３に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表１３の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0174】

本文書の一実施例として、マージインデックスを使用してＢＤＯＦの適用可否を決定する方法は、以下の表１４に提示された条件を含むことができる。

【0175】

【表14】

【0176】

前記表１４を参照すると、マージモード／スキップモード可否条件（例：ｍｅｒｇｅ＿ｆｌａｇ）とマージインデックス条件（例：ｍｅｒｇｅ＿ｉｄｘ）を追加してＢＤＯＦの適用可否を決定することができる。例えば、ｍｅｒｇｅ＿ｆｌａｇが１であり（即ち、マージモード／スキップモードを使用してインター予測を実行する場合）、ｍｅｒｇｅ＿ｉｄｘが２以上である場合に該当しない場合、マージインデックスの値が小さい場合にのみ、制限的にＢＤＯＦを適用する条件を満たすと定めることができる。即ち、ｍｅｒｇｅ＿ｆｌａｇが１であり（即ち、マージモード／スキップモードを使用してインター予測を実行する場合）、ｍｅｒｇｅ＿ｉｄｘが２より小さい場合、マージインデックス条件を満たすと判断してＢＤＯＦを適用することができる。ここで、マージインデックスの値（ｔｈｒｅｓｈｏｌｄ）を２に設定したが、これは一つの例示に過ぎず、コーディング効率によって該当値は変更されることができる。

【0177】

即ち、本実施例ではマージモード／スキップモード可否条件（例：ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス条件（例：ｍｅｒｇｅ＿ｉｄｘ）と共に、前記表１４に羅列された残りの適用条件に基づいてＢＤＯＦの適用可否を判断することができる。

【0178】

即ち、デコーディング装置は、前記表１４に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１４に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表１４の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0179】

前記表１３または前記表１４で羅列された条件に基づいて、ｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0180】

一方、マージ／スキップモードでＭＭＶＤを介して動き情報をリファインすることができ、この場合、デコーダ複雑度が増加するため、ＭＭＶＤが適用される時、ＤＭＶＲを実行しないようにしている。しかし、ＭＭＶＤを考慮せずに適用される場合、性能向上を考慮してＭＭＶＤ条件がなくてもＤＭＶＲを適用することができる。この場合、本文書の一実施例によると、ＤＭＶＲの適用条件は、以下の表１５に提示された条件を含むことができる。

【0181】

【表15】

【0182】

前記表１５を参照すると、既存のＤＭＶＲの適用条件の中からＭＭＶＤモード適用可否条件（例：ｍｍｖｄ＿ｆｌａｇ）を除外させることができる。即ち、ｍｍｖｄ＿ｆｌａｇが０である場合（即ち、ＭＭＶＤモードを使用しない場合）であるかどうかを判断する過程を省略し、前記表１５に羅列された条件に基づいてＤＭＶＲの適用可否を判断することができる。

【0183】

即ち、デコーディング装置は、（ＭＭＶＤモード適用可否条件（例：ｍｍｖｄ＿ｆｌａｇ）を除外した）前記表１５に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＤＭＶＲを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１５に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＤＭＶＲを適用しない。このような前記表１５の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0184】

また、前述した表１５の実施例と逆に、マージ／スキップモードでＭＭＶＤを介して動き情報をリファインする時、デコーダ複雑度を考慮してＢＤＯＦの実行可否を決定することができる。したがって、本文書ではＭＭＶＤ条件を考慮してＢＤＯＦの適用可否を決定する方法を提案する。この場合、本文書の一実施例によると、ＢＤＯＦの適用条件は、以下の表１６に提示された条件を含むことができる。

【0185】

【表16】

【0186】

前記表１６を参照すると、ＭＭＶＤモード適用可否条件（例：ｍｍｖｄ＿ｆｌａｇ）を追加することによって、ＭＭＶＤを介して動き情報をリファインする場合にＢＤＯＦを適用しない。例えば、ｍｍｖｄ＿ｆｌａｇが０である場合（即ち、ＭＭＶＤモードを使用しない場合）、ＭＭＶＤモード適用可否条件を満たすと判断できる。

【0187】

したがって、本実施例ではＭＭＶＤモード適用可否条件（例：ｍｍｖｄ＿ｆｌａｇ）と共に、前記表１６に羅列された残りの適用条件に基づいてＢＤＯＦ適用可否を判断することができる。

【0188】

即ち、デコーディング装置は、前記表１６に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１６に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表１６の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0189】

前記表１５または前記表１６で羅列された条件に基づいてｔｒｕｅ双予測を実行する方法は、ＤＭＶＲ及びＢＤＯＦに独立的に適用されることもでき、または、ＤＭＶＲ及びＢＤＯＦのための同一条件に適用されることもできる。

【0190】

一方、ＡＭＶＰモードである時、ＡＭＶＲ（Ａｄａｐｔｉｖｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｓｏｌｕｔｉｏｎ）技術が適用されることができる。このとき、動きベクトルの解像度（ｒｅｓｏｌｕｔｉｏｎ）が大きい場合、即ち、整数サンプル単位ラウンディング（ｉｎｔｅｇｅｒ－ｐｅｌ ｒｏｕｎｄｉｎｇ）、４サンプル単位ラウンディング（４ ｉｎｔｅｇｅｒ－ｐｅｌ ｒｏｕｎｄｉｎｇ）を有する場合、制限された領域内でリファインを実行するＢＤＯＦの場合、このような技術を適用するのが適合しない。したがって、本文書ではＡＭＶＲ条件によってＢＤＯＦの実行を決定することができる方案を提案する。この場合、本文書の一実施例によると、ＢＤＯＦの適用条件は、以下の表１７に提示された条件を含むことができる。

【0191】

【表17】

【0192】

前記表１７を参照すると、ＡＭＶＲ条件（例：ａｍｖｒ＿ｆｌａｇ）を追加してＢＤＯＦの適用可否を決定することができる。ここで、ａｍｖｒ＿ｆｌａｇは、動きベクトル差（ＭＶＤ）の解像度を示す情報である。例えば、ａｍｖｒ＿ｆｌａｇが０である場合、ＭＶＤの解像度が１／４サンプル（ｑｕａｒｔｅｒ－ｌｕｍａ－ｓａｍｐｌｅ）単位で誘導されることを示し、ａｍｖｒ＿ｆｌａｇが０でない場合、整数サンプル（ｉｎｔｅｇｅｒ－ｌｕｍａ－ｓａｍｐｌｅ）単位または４サンプル（ｆｏｕｒ－ｌｕｍａ－ｓａｍｐｌｅ）単位で誘導されることを示すことができる。または、その反対の場合に定められることもできる。実施例によって、前記表１７に提示されたように、ａｍｖｒ＿ｆｌａｇが０でない場合、ＢＤＯＦが適用されることと条件を設定することができる。即ち、ａｍｖｒ＿ｆｌａｇが０である場合、ＢＤＯＦが適用されないように制限できる。

【0193】

したがって、本実施例ではＡＭＶＲ条件（例：ａｍｖｒ＿ｆｌａｇ）と共に、前記表１７に羅列されたその他の条件に基づいてＢＤＯＦの適用可否を判断することができる。

【0194】

即ち、デコーディング装置は、前記表１７に羅列された全ての条件が満たされるかどうかを決定し、全ての条件が満たされる場合にＢＤＯＦを適用してｔｒｕｅ双予測を実行することができる。もし、前記表１７に羅列された条件のうち一つでも満たされない場合、デコーディング装置は、ＢＤＯＦを適用しない。このような前記表１７の条件は、エンコーディング装置でも適用されることができ、エンコーディング装置ではデコーディング装置と対応される方法で実行されることができる。

【0195】

一方、前述したようなＤＭＶＲとＢＤＯＦは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスで各々シグナリングされることができる。以下の表１８は、ＳＰＳシンタックスを介してシグナリングされるＤＭＶＲが可用であるかどうかとＢＤＯＦが可用であるかどうかを示すシンタックス要素の一例を示す。

【0196】

【表18】

【0197】

前記表１８を参照すると、ＳＰＳシンタックスでｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングすることができ、このシンタックス要素に基づいてｔｒｕｅ双予測基盤のＤＭＶＲが可用（ｅｎａｂｌｅ）であるかどうかを示すことができる。例えば、ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、ｔｒｕｅ双予測基盤のＤＭＶＲが可用であることを示し、ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ｔｒｕｅ双予測基盤のＤＭＶＲが可用でないことを示すことができる。

【0198】

また、ＳＰＳシンタックスでｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングすることができ、このシンタックス要素に基づいてｔｒｕｅ双予測基盤のＢＤＯＦが可用（ｅｎａｂｌｅ）であるかどうかを示すことができる。例えば、ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、ｔｒｕｅ双予測基盤のＢＤＯＦが可用であることを示し、ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である場合、ｔｒｕｅ双予測基盤のＢＤＯＦが可用でないことを示すことができる。

【0199】

前記表１８のように、ＤＭＶＲの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）と、ＢＤＯＦの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）と、を利用してＤＭＶＲ及びＢＤＯＦの適用条件をチェックすることができる。

【0200】

図５は、ＤＭＶＲ及びＢＤＯＦの適用条件をチェックしてデコーディング過程を実行する方法を示す一例である。

【0201】

図５の方法は、前記表１８のように、ＤＭＶＲの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）とＢＤＯＦの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）とを利用する場合に適用されることができる。

【0202】

図５を参照すると、デコーディング装置は、現在ブロックに対する動き情報（例：動きベクトル、参照ピクチャインデックス等）を誘導することができる（Ｓ５００）。

【0203】

デコーディング装置は、ＤＭＶＲの適用条件をチェックすることができる（Ｓ５１０）。このとき。ＤＭＶＲの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてＤＭＶＲの適用条件をチェックすることができる。例えば、ＤＭＶＲが可用な場合（例えば、ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合）にＤＭＶＲの適用条件をチェックすることができる。

【0204】

デコーディング装置は、ＤＭＶＲの適用条件を満たすかどうかによってＤＭＶＲ過程を適用するかどうかを判断することができる（Ｓ５２０）。

【0205】

ＤＭＶＲの適用条件を全て満たす場合、デコーディング装置は、ＤＭＶＲ過程を適用してリファインされた動き情報を導出することができる（Ｓ５３０）。ＤＭＶＲの適用条件のうち一つ以上満たさない場合、デコーディング装置は、ＤＭＶＲ過程を適用しない。

【0206】

デコーディング装置は、ＤＭＶＲを適用した場合に導出されたリファインされた動き情報またはＤＭＶＲを適用しない場合に導出された（リファインされない）動き情報に基づいて現在ブロックの予測サンプルを誘導することができる（Ｓ５４０）。

【0207】

そして、デコーディング装置は、ＢＤＯＦの適用条件をチェックすることができる（Ｓ５５０）。このとき、ＢＤＯＦの可用可否を示すシンタックス要素（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてＢＤＯＦの適用条件をチェックすることができる。例えば、ＢＤＯＦが可用な場合（例えば、ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合）にＢＤＯＦの適用条件をチェックすることができる。

【0208】

ＢＤＯＦの適用条件を全て満たす場合、デコーディング装置は、ＢＤＯＦ過程を適用して予測サンプルに対してリファインを実行することができる（Ｓ５７０）。ＢＤＯＦの適用条件のうち一つ以上満たさない場合、デコーディング装置は、ＢＤＯＦ過程を適用しない。

【0209】

デコーディング装置は、現在ブロックに対するレジデュアルサンプルを誘導し（Ｓ５８０）、前記レジデュアルサンプルと前記ＢＤＯＦを適用した場合に導出されたリファインされた予測サンプルまたはＢＤＯＦを適用しない場合に導出された（リファインされない）予測サンプルに基づいて復元されたサンプルを誘導することができる（Ｓ５９０）。

【0210】

本文書では前述したようにＤＭＶＲとＢＤＯＦを適用するにあたって、相互間の適用条件を一致（ｈａｒｍｏｎｉｚａｔｉｏｎ）させてコーディング効率を向上させて複雑度を減少させることができる多様な実施例を提案した。このような本文書の実施例によるＤＭＶＲとＢＤＯＦの適用条件をチェックしてデコーディング過程に適用するにあたって、各々の条件を別にチェックして適用することもできるが、コーディング効率を向上させるために一度に適用条件をチェックすることもできる。即ち、本文書ではＤＭＶＲとＢＤＯＦの適用条件を一度に統合してチェックできる方案を提案する。

【0211】

本文書の一実施例として、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）シンタックスでデコーディング装置でのリファイン適用可否を示す情報（例：ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をシグナリングすることで、ＤＭＶＲ／ＢＤＯＦの適用条件チェック過程を実行することができる。以下の表１９は、ＳＰＳシンタックスを介してシグナリングされるデコーディング装置でのリファイン適用可否を示すシンタックス要素（例：ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の一例を示す。

【0212】

【表19】

【0213】

前記表１９を参照すると、ＳＰＳシンタックスでｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇをシグナリングすることができ、このシンタックス要素に基づいてデコーディング装置でのリファイン適用が可能かどうかを示すことができる。例えば、ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在する時（即ち、ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇがｔｒｕｅである場合）、デコーディング装置でのリファイン適用が可能であると判断されることができる。この場合、デコーディング装置は、ＤＭＶＲが可用（ｅｎａｂｌｅ）であるかどうかを示すｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素及びＢＤＯＦが可用（ｅｎａｂｌｅ）であるかどうかを示すｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を取得し、ＤＭＶＲとＢＤＯＦの適用条件を判断することができる。

【0214】

図６及び図７は、ＤＭＶＲ及びＢＤＯＦの適用条件をチェックしてデコーディング過程を実行する方法を示す他の例である。

【0215】

図６の方法及び図７の方法は、前記表１９のように、デコーディング装置でのリファイン適用が可能かどうかを示すシンタックス要素（例：ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を利用する場合に適用されることができる。また、図６及び図７は、前述した図５と重複する内容に関しては説明を省略する。

【0216】

図６を参照すると、前記図５の過程と比較してＤＭＶＲ及びＢＤＯＦの適用条件を各々チェックせずに、前ステップで一度にチェックすることを知ることができる。一実施例として、図６のステップＳ６１０において、デコーディング装置は、リファイン適用条件をチェックすることができる。このとき、リファイン適用条件チェックは、前記表１９のようにｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇに基づいて実行されることができる。例えば、ｓｐｓ＿ｒｅｆｉｎｅｍｅｎｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１である場合、ＤＭＶＲが可用（ｅｎａｂｌｅ）であるかどうかを示すｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素またはＢＤＯＦが可用（ｅｎａｂｌｅ）であるかどうかを示すｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を取得し、これに基づいてＤＭＶＲ及びＢＤＯＦの適用条件をチェックすることができる。

【0217】

また、図７を参照すると、前記図５の過程と比較してＤＭＶＲ及びＢＤＯＦの適用条件を各々チェックせずに、前ステップで一度にチェックし、異なる条件に対しては簡単なチェック過程（ＢＤＯＦの適用条件）を実行することができる。一実施例として、図７のステップＳ７１０において、デコーディング装置は、リファイン適用条件をチェックすることができる。以後、図７のステップＳ７５０において、デコーディング装置は、前記リファイン適用条件と異なる条件を有するＢＤＯＦの適用条件に対して追加的に簡単にチェックを実行することができる。

【0218】

前述した本文書の実施例に係る表３乃至表１７で羅列された方法は、組み合わせて適用されることができる。即ち、リファイン適用条件をチェックすることによってＤＭＶＲ及びＢＤＯＦの適用可否を判断することができ、以下の表２０のような条件を適用することができる。

【0219】

【表20】

【0220】

前記表２０を参照すると、ＤＭＶＲまたはＢＤＯＦが適用される時、両方向予測である場合に適用する条件、現在ピクチャと両方向参照ピクチャとの距離が相互同じなｔｒｕｅ双予測である場合に適用する条件、ＭＭＶＤモードが使われない場合に適用する条件、アフィン予測でない場合に適用する条件、サブブロック基盤のマージモードでない場合に適用する条件、ＧＢｉインデックスがデフォルトである場合に適用する条件を利用することができる。即ち、前記条件を満たすかどうかによってＤＭＶＲまたはＢＤＯＦの適用可否を判断することができる。

【0221】

また、前述したように、ＤＭＶＲのためにマージモードであるかどうかを判断し、または、ＢＤＯＦのためにルマブロックであるかどうかを判断する等の条件が追加されることもできる。

【0222】

前記表２０で羅列された適用条件は、一つの例示に過ぎず、前述した実施例（前記表３乃至表１７の実施例）で羅列した多様な条件を組み合わせて使われることができることは自明である。

【0223】

図８は、本文書の一実施例によってエンコーディング装置により実行されることができるエンコーディング方法を概略的に示す流れ図である。

【0224】

図８に開示された方法は、図２で開示されたエンコーディング装置２００により実行されることができる。具体的に、図８のステップＳ８００～Ｓ８３０は、図２に開示された予測部２２０及びインター予測部２２１により実行されることができ、図８のステップＳ８４０～Ｓ８５０は、図２に開示されたレジデュアル処理部２３０により実行されることができ、図８のステップＳ８６０は、図２に開示されたエントロピーエンコーディング部２４０により実行されることができる。また、図８で開示された方法は、本文書で詳述した実施例を含むことができる。したがって、図８では詳述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。

【0225】

図８を参照すると、エンコーディング装置は、現在ブロックの動きベクトルを導出することができる（Ｓ８００）。

【0226】

一実施例として、現在ブロックに対してインター予測を実行する場合、エンコーディング装置は、現在ブロックの動き情報（動きベクトル、参照ピクチャインデックス等）を導出することができる。例えば、エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で現在ブロックと類似したブロックをサーチし、現在ブロックとの差が最小または一定基準以下である参照ブロックを導出することができる。これに基づいて参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、参照ブロックと現在ブロックの位置差に基づいて動きベクトルを導出することができる。

【0227】

また、エンコーディング装置は、多様な予測モードのうち現在ブロックに対して適用されるインター予測モードを決定することができる。エンコーディング装置は、多様な予測モードに対するＲＤ ｃｏｓｔを比較して現在ブロックに対する最適の予測モードを決定することができる。

【0228】

例えば、エンコーディング装置は、現在ブロックにスキップモードまたはマージモードが適用される場合、マージ候補リストを構成することができる。このとき、マージ候補リストに含まれているマージ候補が指す参照ブロックのうち現在ブロックとの差が最小または一定基準以下である参照ブロックを導出することができる。この場合、導出された参照ブロックと関連したマージ候補が選択され、選択されたマージ候補を指すマージインデックス情報が生成されてデコーディング装置にシグナリングされることができる。選択されたマージ候補の動き情報を利用して現在ブロックの動き情報が導出されることができる。

【0229】

他の例として、エンコーディング装置は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれているｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補の中から選択されたｍｖｐ候補の動きベクトルを現在ブロックのｍｖｐとして利用できる。例えば、前述した動き推定により導出された参照ブロックを指す動きベクトルが、現在ブロックの動きベクトルとして利用されることができ、このとき、動き推定により導出された現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が、前記ｍｖｐ候補の中から選択されることができる。そして、エンコーディング装置は、現在ブロックの動きベクトルから前記選択されたｍｖｐ候補の動きベクトルを引いた差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）を導出することができる。この場合、前記ＭＶＤに関する情報がデコーディング装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別途にデコーディング装置にシグナリングされることができる。

【0230】

エンコーディング装置は、現在ブロックの動きベクトルに対してリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を適用するかどうかを決定することができる（Ｓ８１０）。

【0231】

即ち、エンコーディング装置は、コーディング効率、複雑度、予測性能などを考慮してリファインメントを適用するかどうかを判断することができる。このとき、エンコーディング装置は、前記表１乃至表２０で説明した多様な適用条件を利用して現在ブロックに対してリファインメントを適用するかどうかを判断することができる。

【0232】

一実施例として、エンコーディング装置は、現在ブロックの大きさ、または現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいてリファインメント適用可否を決定することができる。例えば、現在ブロックの大きさが１６×１６以上である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。また、現在ブロックの双予測加重値インデックス情報の値が０である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0233】

ここで、双予測加重値インデックス情報は、前述したＧｂｉＩｄｘを示す。これはＬ０予測及びＬ１予測に異なる加重値（ｗｅｉｇｈｔ）を適用することができる一般的な双予測（ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）で、Ｌ０予測及びＬ１予測に適用される加重値ファクタ（ｗｅｉｇｈｔ ｆａｃｔｏｒ）を指示する情報として使われることができる。例えば、現在ブロックにマージモードが適用される場合、現在ブロックの双予測加重値インデックス情報は、現在ブロックの隣接ブロックのうちマージインデックスにより指示される隣接ブロックの双予測加重値インデックス情報と同じである。

【0234】

また、エンコーディング装置は、ビットストリームに含まれるＤＭＶＲが可用であるか（ｅｎａｂｌｅ）どうかを示すＤＭＶＲ可用フラグ情報（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）、現在ブロックにマージモードが適用されるかどうかを示すマージフラグ情報（例：ｍｅｒｇｅ＿ｆｌａｇ）、または現在ブロックにＭＭＶＤ（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が適用されるかどうかを示すＭＭＶＤフラグ情報（例：ｍｍｖｄ＿ｆｌａｇ）のうち少なくとも一つに基づいてＤＭＶＲ基盤のリファインメント適用可否を決定することができる。例えば、エンコーディング装置は、ＤＭＶＲ可用フラグ情報の値が１である場合、マージフラグ情報の値が１である場合、またはＭＭＶＤフラグ情報の値が０である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0235】

また、エンコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、または、現在ピクチャとＬ０参照ピクチャとの間の距離と、現在ピクチャとＬ１参照ピクチャとの間の距離と、が同じかどうかに基づいて現在ブロックの動きベクトルに対してＤＭＶＲを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０［０］［０］＝１であり、ｐｒｅｄＦｌａｇＬ０［１］［１］＝１である場合）、または、現在ピクチャを基準にしてＬ０参照ピクチャとの距離とＬ１参照ピクチャとの距離とが相互同じな場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）＝０である場合）、エンコーディング装置は、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0236】

また、他の例として、エンコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置するかどうか、または前記現在ブロックにアフィンモードが適用されるかどうかに基づいて現在ブロックの動きベクトルに対してＤＭＶＲを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０＝１であり、ｐｒｅｄＦｌａｇＬ１＝１である場合）、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置する場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さい場合）、または、現在ブロックにアフィンモードが適用されない場合（例：ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ＝０である場合）、エンコーディング装置は、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0237】

ここで、ＤＭＶＲ基盤のリファインメントを適用するかどうかを決定するにあたって、前記羅列された条件は、一つの例示に過ぎず、前述した表１乃至表２０の条件を多様に組み合わせて使われることができる。

【0238】

エンコーディング装置は、現在ブロックの動きベクトルに対してリファインメントを適用することに決定した場合、動きベクトルにＤＭＶＲを適用してリファインされた動きベクトルを導出することができる（Ｓ８２０）。

【0239】

このとき、エンコーディング装置は、前述した図４のＤＭＶＲ過程を適用することができる。ＤＭＶＲを適用してリファインされた動きベクトルを導出する過程は、図４で詳細に説明したため、ここでは説明を省略する。

【0240】

エンコーディング装置は、リファインされた動きベクトルに基づいて現在ブロックに対する予測サンプルを導出することができる（Ｓ８３０）。

【0241】

実施例によって、エンコーディング装置は、現在ブロックの予測サンプルに対してリファインメントを適用することができる。この場合、エンコーディング装置は、コーディング効率、複雑度、予測性能などを考慮して予測サンプルにＢＤＯＦ基盤のリファインメントを適用することができる。

【0242】

一実施例として、エンコーディング装置は、現在ブロックの大きさ、または現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいて、予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、現在ブロックの大きさが１６×１６以上である場合、予測サンプルにＢＤＯＦを適用することに決定できる。また、現在ブロックの双予測加重値インデックス情報の値が０である場合、予測サンプルにＢＤＯＦを適用することに決定できる。

【0243】

また、エンコーディング装置は、ビットストリームに含まれるＢＤＯＦが可用であるか（ｅｎａｂｌｅ）どうかを示すＢＤＯＦ可用フラグ情報（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）、または現在ブロックにサブブロック基盤のマージモードが適用されるかどうかを示すサブブロック基盤のマージフラグ情報（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）に基づいてＢＤＯＦ基盤のリファインメント適用可否を決定することができる。例えば、エンコーディング装置は、ＢＤＯＦ可用フラグ情報の値が１である場合、または、サブブロック基盤のマージフラグ情報の値が０である場合、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0244】

また、エンコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置するかどうか、または現在ブロックにアフィンモードが適用されるかどうかに基づいて予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０＝１であり、ｐｒｅｄＦｌａｇＬ１＝１である場合）、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置する場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さい場合）、または、現在ブロックにアフィンモードが適用されない場合（例：ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ＝０である場合）、エンコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0245】

また、他の例として、エンコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、または、現在ピクチャとＬ０参照ピクチャとの間の距離と、現在ピクチャとＬ１参照ピクチャとの間の距離と、が同じかどうかに基づいて予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０［０］［０］＝１であり、ｐｒｅｄＦｌａｇＬ０［１］［１］＝１である場合）、または、現在ピクチャを基準にしてＬ０参照ピクチャとの距離とＬ１参照ピクチャとの距離とが相互同じな場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）＝０である場合）、エンコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0246】

ここで、ＢＤＯＦ基盤のリファインメントを適用するかどうかを決定するにあたって、前記羅列された条件は、一つの例示に過ぎず、前述した表１乃至表２０の条件を多様に組み合わせて使われることができる。

【0247】

エンコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定した場合、予測サンプルにＢＤＯＦを適用してリファインされた予測サンプルを導出することができる。

【0248】

エンコーディング装置は、予測サンプルに基づいてレジデュアルサンプルを導出し（Ｓ８４０）、レジデュアルサンプルに基づいてレジデュアル情報を生成することができる（Ｓ８５０）。

【0249】

即ち、エンコーディング装置は、現在ブロックに対する原本サンプルと現在ブロックの予測サンプルに基づいて、レジデュアルサンプルを導出することができる。そして、エンコーディング装置は、レジデュアルサンプルに対する情報を生成することができる。

【0250】

エンコーディング装置は、レジデュアル情報を含む映像情報をエンコーディングすることができる（Ｓ８６０）。

【0251】

即ち、エンコーディング装置は、レジデュアルサンプルに対する情報をエンコーディングしてビットストリームに出力し、これをネットワークまたは格納媒体を介してデコーディング装置に送信できる。

【0252】

また、エンコーディング装置は、前述したステップＳ８００乃至Ｓ８３０で導出された情報をエンコーディングしてビットストリームに出力できる。例えば、ＤＭＶＲ可用フラグ情報、マージフラグ情報、ＭＭＶＤフラグ情報、ＢＤＯＦ可用フラグ情報、サブブロック基盤のマージフラグ情報などが映像情報に含まれてエンコーディングされることができ、このようなエンコーディングされた映像情報は、デコーディング装置にシグナリングされることができる。

【0253】

図９は、文書の一実施例によってデコーディング装置により実行されることができるデコーディング方法を概略的に示す流れ図である。

【0254】

図９に開示された方法は、図３で開示されたデコーディング装置３００により実行されることができる。具体的に、図９のステップＳ９００～Ｓ９３０は、図３に開示された予測部３３０及びインター予測部３３２により実行されることができ、図９のステップＳ９４０は、図３に開示された加算部３４０により実行されることができる。また、図９で開示された方法は、本文書で詳述した実施例を含むことができる。したがって、図９では前述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。

【0255】

図９を参照すると、デコーディング装置は、現在ブロックの動きベクトルを導出することができる（Ｓ９００）。

【0256】

一実施例として、デコーディング装置は、エンコーディング装置からシグナリングされる予測情報に基づいて現在ブロックに対する予測モードを決定することができる。そして、デコーディング装置は、予測モードに基づいて現在ブロックの動き情報（動きベクトル、参照ピクチャインデックス等）を導出することができる。ここで、予測モードは、スキップモード、マージモード、（Ａ）ＭＶＰモードなどを含むことができる。

【0257】

例えば、デコーディング装置は、現在ブロックにスキップモードまたはマージモードが適用される場合、マージ候補リストを構成し、マージ候補リストに含まれているマージ候補の中から一つのマージ候補を選択することができる。このとき、前述したマージインデックス情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいてマージ候補リストから一つのマージ候補が選択されることができる。デコーディング装置は、選択されたマージ候補の動き情報を利用して現在ブロックの動き情報を導出することができる。即ち、マージ候補リストに含まれているマージ候補のうちマージインデックスにより選択されたマージ候補の動き情報が現在ブロックの動き情報として利用されることができる。

【0258】

他の例として、デコーディング装置は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれているｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補の中から選択されたｍｖｐ候補の動きベクトルを現在ブロックのｍｖｐとして利用できる。前記ｍｖｐ候補の選択は、ｍｖｐフラグ情報（ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）に基づいて実行されることができる。また、デコーディング装置は、エンコーディング装置からシグナリングされるＭＶＤに関する情報に基づいて現在ブロックのＭＶＤを導出することができる。この場合、デコーディング装置は、現在ブロックのｍｖｐとＭＶＤに基づいて現在ブロックの動きベクトルを導出することができる。また、デコーディング装置は、エンコーディング装置からシグナリングされる参照ピクチャインデックス情報に基づいて現在ブロックの参照ピクチャインデックスを導出することができる。このとき、現在ブロックに関する参照ピクチャリスト内で参照ピクチャインデックスが指すピクチャが、現在ブロックのインター予測のために参照になる参照ピクチャとして導出されることができる。

【0259】

デコーディング装置は、現在ブロックの動きベクトルに対してリファインメント（ｒｅｆｉｎｅｍｅｎｔ）を適用するかどうかを決定することができる（Ｓ９１０）。

【0260】

一実施例として、デコーディング装置は、現在ブロックの大きさ、または現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいてリファインメント適用可否を決定することができる。例えば、現在ブロックの大きさが１６×１６以上である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。また、現在ブロックの双予測加重値インデックス情報の値が０である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0261】

ここで、双予測加重値インデックス情報は、前述したＧｂｉＩｄｘを示す。これはＬ０予測及びＬ１予測に異なる加重値（ｗｅｉｇｈｔ）を適用することができる一般的な双予測（ｇｅｎｅｒａｌｉｚｅｄ ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）で、Ｌ０予測及びＬ１予測に適用される加重値ファクタ（ｗｅｉｇｈｔ ｆａｃｔｏｒ）を指示する情報として使われることができる。例えば、現在ブロックにマージモードが適用される場合、現在ブロックの双予測加重値インデックス情報は、現在ブロックの隣接ブロックのうちマージインデックスにより指示される隣接ブロックの双予測加重値インデックス情報と同じである。

【0262】

また、デコーディング装置は、ビットストリームからＤＭＶＲが可用であるか（ｅｎａｂｌｅ）どうかを示すＤＭＶＲ可用フラグ情報（例：ｓｐｓ＿ｄｍｖｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）、現在ブロックにマージモードが適用されるかどうかを示すマージフラグ情報（例：ｍｅｒｇｅ＿ｆｌａｇ）、または現在ブロックにＭＭＶＤ（ｍｅｒｇｅ ｍｏｄｅ ｗｉｔｈ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が適用されるかどうかを示すＭＭＶＤフラグ情報（例：ｍｍｖｄ＿ｆｌａｇ）のうち少なくとも一つを取得することができ、このようなビットストリームから取得された情報に基づいてＤＭＶＲ基盤のリファインメント適用可否を決定することができる。例えば、デコーディング装置は、ＤＭＶＲ可用フラグ情報の値が１である場合、マージフラグ情報の値が１である場合、またはＭＭＶＤフラグ情報の値が０である場合、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0263】

また、デコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、または、現在ピクチャとＬ０参照ピクチャとの間の距離と、現在ピクチャとＬ１参照ピクチャとの間の距離と、が同じかどうかに基づいて現在ブロックの動きベクトルに対してＤＭＶＲを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０［０］［０］＝１であり、ｐｒｅｄＦｌａｇＬ０［１］［１］＝１である場合）、または、現在ピクチャを基準にしてＬ０参照ピクチャとの距離とＬ１参照ピクチャとの距離とが相互同じな場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）＝０である場合）、デコーディング装置は、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0264】

また、他の例として、デコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置するかどうか、または前記現在ブロックにアフィンモードが適用されるかどうかに基づいて現在ブロックの動きベクトルに対してＤＭＶＲを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０＝１であり、ｐｒｅｄＦｌａｇＬ１＝１である場合）、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置する場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さい場合）、または、現在ブロックにアフィンモードが適用されない場合（例：ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ＝０である場合）、デコーディング装置は、現在ブロックの動きベクトルに対してＤＭＶＲを適用することに決定できる。

【0265】

ここで、ＤＭＶＲ基盤のリファインメントを適用するかどうかを決定するにあたって、前記羅列された条件は、一つの例示に過ぎず、前述した表１乃至表２０の条件を多様に組み合わせて使われることができる。

【0266】

デコーディング装置は、現在ブロックの動きベクトルに対してリファインメントを適用することに決定した場合、動きベクトルにＤＭＶＲを適用してリファインされた動きベクトルを導出することができる（Ｓ９２０）。

【0267】

このとき、デコーディング装置は、前述した図４のＤＭＶＲ過程を適用することができる。ＤＭＶＲを適用してリファインされた動きベクトルを導出する過程は、図４で詳細に説明したため、ここでは説明を省略する。

【0268】

デコーディング装置は、リファインされた動きベクトルに基づいて現在ブロックに対する予測サンプルを導出することができる（Ｓ９３０）。

【0269】

実施例によって、デコーディング装置は、現在ブロックの予測サンプルに対してリファインメントを適用することができる。

【0270】

一実施例として、デコーディング装置は、現在ブロックの大きさ、または現在ブロックの双予測加重値インデックス（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｅｉｇｈｔ ｉｎｄｅｘ）情報のうち少なくとも一つに基づいて、予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、現在ブロックの大きさが１６×１６以上である場合、予測サンプルにＢＤＯＦを適用することに決定できる。また、現在ブロックの双予測加重値インデックス情報の値が０である場合、予測サンプルにＢＤＯＦを適用することに決定できる。

【0271】

また、デコーディング装置は、ビットストリームからＢＤＯＦが可用であるか（ｅｎａｂｌｅ）どうかを示すＢＤＯＦ可用フラグ情報（例：ｓｐｓ＿ｂｄｏｆ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）、または現在ブロックにサブブロック基盤のマージモードが適用されるかどうかを示すサブブロック基盤のマージフラグ情報（例：ｍｅｒｇｅ＿ｓｕｂｂｌｏｃｋ＿ｆｌａｇ）のうち少なくとも一つを取得することができ、このようなビットストリームから取得された情報に基づいてＢＤＯＦ基盤のリファインメント適用可否を決定することができる。例えば、デコーディング装置は、ＢＤＯＦ可用フラグ情報の値が１である場合、または、サブブロック基盤のマージフラグ情報の値が０である場合、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0272】

また、デコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置するかどうか、または現在ブロックにアフィンモードが適用されるかどうかに基づいて予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０＝１であり、ｐｒｅｄＦｌａｇＬ１＝１である場合）、現在ピクチャを基準にしてＬ０参照ピクチャとＬ１参照ピクチャが時間上に互いに異なる方向に位置する場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）＊ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ｒｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）が０より小さい場合）、または、現在ブロックにアフィンモードが適用されない場合（例：ＭｏｔｉｏｎＭｏｄｅｌＩｄｃ＝０である場合）、デコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0273】

また、他の例として、デコーディング装置は、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用されるかどうか、または、現在ピクチャとＬ０参照ピクチャとの間の距離と、現在ピクチャとＬ１参照ピクチャとの間の距離と、が同じかどうかに基づいて予測サンプルに対してＢＤＯＦを適用するかどうかを決定することができる。例えば、Ｌ０参照ピクチャ及びＬ１参照ピクチャに基づいて実行される双予測が現在ブロックに適用される場合（例：ｐｒｅｄＦｌａｇＬ０［０］［０］＝１であり、ｐｒｅｄＦｌａｇＬ０［１］［１］＝１である場合）、または、現在ピクチャを基準にしてＬ０参照ピクチャとの距離とＬ１参照ピクチャとの距離とが相互同じな場合（例：ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ０［ｒｅｆＩｄｘＬ０］）－ＤｉｆｆＰｉｃＯｒｄｅｒＣｎｔ（ｃｕｒｒＰｉｃ、ＲｅｆＰｉｃＬｉｓｔ１［ｒｅｆＩｄｘＬ１］）＝０である場合）、デコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定できる。

【0274】

ここで、ＢＤＯＦ基盤のリファインメントを適用するかどうかを決定するにあたって、前記羅列された条件は、一つの例示に過ぎず、前述した表１乃至表２０の条件を多様に組み合わせて使われることができる。

【0275】

デコーディング装置は、予測サンプルに対してＢＤＯＦを適用することに決定した場合、予測サンプルにＢＤＯＦを適用してリファインされた予測サンプルを導出することができる。

【0276】

デコーディング装置は、予測サンプルに基づいて現在ブロックに対する復元サンプルを生成することができる（Ｓ９４０）。

【0277】

一実施例として、デコーディング装置は、予測モードによって予測サンプルを復元サンプルとして利用することもでき、または、前記予測サンプルにレジデュアルサンプルを加算して復元サンプルを生成することもできる。

【0278】

デコーディング装置は、現在ブロックに対するレジデュアルサンプルが存在する場合、現在ブロックに対するレジデュアルに関する情報を受信することができる。レジデュアルに関する情報は、レジデュアルサンプルに関する変換係数を含むことができる。デコーディング装置は、レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプル（または、レジデュアルサンプルアレイ）を導出することができる。デコーディング装置は、予測サンプルとレジデュアルサンプルに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャを導出することができる。

【0279】

前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書の実施例は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

【0280】

前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

【0281】

本文書で実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。この場合、具現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。

【0282】

また、本文書が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置ではゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0283】

また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み込むことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に格納され、または有無線通信ネットワークを介して送信されることができる。

【0284】

また、本文書の実施例は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

【0285】

図１０は、本文書で開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。

【0286】

図１０を参照すると、本文書の実施例に適用されるコンテンツストリーミングシステムは、大別して、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0287】

前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。

【0288】

前記ビットストリームは、本文書の実施例に適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0289】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。

【0290】

前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間格納することができる。

【0291】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジがある。

【0292】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】