特許 7755059 ＭＤＭＶＲベースの映像コーディング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-10-06

(45)【発行日】2025-10-15

(54)【発明の名称】ＭＤＭＶＲベースの映像コーディング方法及び装置

(51)【国際特許分類】

   H04N 19/513 20140101AFI20251007BHJP

   H04N 19/46 20140101ALI20251007BHJP

【ＦＩ】

H04N19/513

H04N19/46

【請求項の数】 13

(21)【出願番号】P 2024519056

(86)(22)【出願日】2022-09-30

(65)【公表番号】

(43)【公表日】2024-09-20

(86)【国際出願番号】 KR2022014755

(87)【国際公開番号】W WO2023055171

(87)【国際公開日】2023-04-06

【審査請求日】2024-03-27

(31)【優先権主張番号】63/251,041

(32)【優先日】2021-10-01

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】シータル パルリ

(72)【発明者】

【氏名】キム スンファン

【審査官】松元 伸次

(56)【参考文献】

【文献】Yao-Jen Chang ETAL;，EE2: Tests of compression efficiency methods beyond VVC，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29 22nd Meeting, by teleconference, 20-28 Apr. 2021， JVET-V0120-v2，2021年04月22日，pp.1,12-14

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディング方法において、
現在ブロックに対してＭＤＭＶＲ（multi-layer Decoder-side Motion Vector Refinement）が使用されるかどうかを決定するステップと、
前記現在ブロックに対して前記ＭＤＭＶＲが使用されることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップと、
前記リファインされた動きベクトルに基づいて、前記現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて、前記現在ブロックに対する復元サンプルを生成するステップと、を含み、
前記ＭＤＭＶＲが使用されるかどうかは、前記ＭＤＭＶＲを使用するかどうかに関連した第１のフラグ情報に基づいて決定され、
前記第１のフラグ情報は、ＳＰＳ（Sequence Parameter Set）でシグナリングされる、映像デコーディング方法。

【請求項2】

前記ＭＤＭＶＲの使用に関連した前記第１のフラグ情報に基づいて、前記ＭＤＭＶＲの制御に関連した第２のフラグ情報がシグナリングされ、
前記第２のフラグ情報は、ＰＰＳ（Picture Parameter Set）、ＰＨ（Picture header）、ＳＨ（Slice header）又はＣＵ（Coding unit）に前記ＭＤＭＶＲに関連したシンタックスエレメントが存在するかどうかに関連した情報である、請求項１に記載の映像デコーディング方法。

【請求項3】

前記第１のフラグ情報は、固定長さコーディングにより二進化される、請求項１に記載の映像デコーディング方法。

【請求項4】

前記第２のフラグ情報に基づいて、前記ＭＤＭＶＲに関連した前記シンタックスエレメントは、前記ＰＰＳ、前記ＰＨ、前記ＳＨ又は前記ＣＵでシグナリングされ、
前記ＭＤＭＶＲに関連した前記シンタックスエレメントは、コンテキストコーディングに基づいて導出される、請求項２に記載の映像デコーディング方法。

【請求項5】

前記現在ブロックは、少なくとも１つのＰＵ（prediction unit）を含み、
前記少なくとも１つのＰＵに対して前記ＭＤＭＶＲのレイヤの数が決定される、請求項１に記載の映像デコーディング方法。

【請求項6】

前記ＭＤＭＶＲが使用されるかどうかは、ＭＶＤ（Motion Vector Difference）情報に基づいて決定され、
前記ＭＶＤ情報があらかじめ決定された閾値を超えるかどうかに基づいて、前記ＭＤＭＶＲが前記現在ブロックに適用されるかどうかが決定される、請求項１に記載の映像デコーディング方法。

【請求項7】

前記ＭＶＤ情報があらかじめ決定された閾値範囲内にあるかどうかに基づいて、前記ＭＤＭＶＲのレイヤの数が決定される、請求項６に記載の映像デコーディング方法。

【請求項8】

前記現在ブロックに前記ＭＤＭＶＲが使用されることに基づいて、前記ＭＤＭＶＲの各レイヤに対して探索パターン、及び探索領域の大きさが決定され、
前記探索パターンは、ｘ方向の動きベクトル及びｙ方向の動きベクトルに基づいて決定され、又は垂直動き及び水平動きに基づいて決定され、
前記探索領域の前記大きさは、ブロック大きさに基づいて決定される、請求項１に記載の映像デコーディング方法。

【請求項9】

前記リファインされた動きベクトルは、ＳＡＤ（Sum of Absolute Differences）又はＭＲ－ＳＡＤ（Mean Removed-Sum of Absolute Difference）に基づいて導出される、請求項１に記載の映像デコーディング方法。

【請求項10】

前記リファインされた動きベクトルは、加重値が適用された最小歪曲費用に基づいて導出され、
前記最小歪曲費用は、特定探索地点の歪曲が優先する場合に基づいて前記加重値を適用することにより計算される、請求項１に記載の映像デコーディング方法。

【請求項11】

前記現在ブロックに対して前記ＭＤＭＶＲが使用されることに基づいて、前記ＭＤＭＶＲの各レイヤに対して終了条件が満たされたかどうかが決定され、
前記終了条件は、初期動きベクトルとリファインされた動きベクトルとの間の距離、サンプルベースの差、又はＳＡＤベースの差が閾値より小さいかどうかに基づいて、各レイヤに対するＭＤＭＶＲ終了を決定する、請求項１に記載の映像デコーディング方法。

【請求項12】

エンコーディング装置により実行される映像エンコーディング方法において、
現在ブロックに対してＭＤＭＶＲ（multi-layer Decoder-side Motion Vector Refinement）が使用されるかどうかを決定するステップと、
前記現在ブロックに対して前記ＭＤＭＶＲが使用されることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップと、
前記リファインされた動きベクトルに基づいて、前記現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて、レジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに関する情報を含む映像情報をエンコーディングすることによりビットストリームを生成するステップと、を含み、
前記ＭＤＭＶＲが使用されるかどうかに基づいて、前記ＭＤＭＶＲを使用するかどうかに関連した第１のフラグ情報の値が決定され、
前記第１のフラグ情報は、ＳＰＳ（Sequence Parameter Set）でシグナリングされる、映像エンコーディング方法。

【請求項13】

映像情報のビットストリームを含むデータの送信方法において、
前記映像情報の前記ビットストリームを取得するステップであって、前記ビットストリームは、
現在ブロックに対してＭＤＭＶＲ（multi-layer Decoder-side Motion Vector Refinement）が使用されるかどうかを決定するステップと、
前記現在ブロックに対して前記ＭＤＭＶＲが使用されることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップと、
前記リファインされた動きベクトルに基づいて、前記現在ブロックに対する予測サンプルを導出するステップと、
前記予測サンプルに基づいて、レジデュアルサンプルを導出するステップと、
前記レジデュアルサンプルに関する情報を含む映像情報をエンコーディングするステップと、に基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記ＭＤＭＶＲが使用されるかどうかに基づいて、前記ＭＤＭＶＲを使用するかどうかに関連した第１のフラグ情報の値が決定され、
前記第１のフラグ情報は、ＳＰＳ（Sequence Parameter Set）でシグナリングされる、送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、ビデオまたは映像コーディング技術に関し、例えば、ＭＤＭＶＲ（ｍｕｌｔｉ－ｌａｙｅｒ Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）ベースの映像コーディング技術に関する。

【背景技術】

【0002】

最近、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）ビデオ／映像のような高解像度、高品質のビデオ／映像に対する需要が多様な分野で増加している。ビデオ／映像データが高解像度、高品質になるほど、既存のビデオ／映像データに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して映像データを送信し、または既存の格納媒体を利用してビデオ／映像データを格納する場合、送信費用と格納費用が増加する。

【0003】

また、最近、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有するビデオ／映像に対する放送が増加している。

【0004】

これによって、前記のような多様な特性を有する高解像度高品質のビデオ／映像の情報を効果的に圧縮して送信または格納し、再生するために高効率の映像圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本文書の技術的課題は、ビデオ／映像コーディング効率を高める方法及び装置を提供することにある。

【0006】

本文書の他の技術的課題は、インターコーディングの効率を高めるための多重レイヤを使用するＤＭＶＲベースの映像コーディング方法及び装置を提供することにある。

【課題を解決するための手段】

【0007】

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、現在ブロックに対して多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）（ＭＤＭＶＲ）の使用可否を決定するステップ、前記現在ブロックに前記ＭＤＭＶＲが使われることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップ、前記リファインされた動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップ、及び前記予測サンプルに基づいて前記現在ブロックに対する復元サンプルを生成するステップ、を含む。

【0008】

本文書の他の一実施例によると、エンコーディング装置により実行される映像エンコーディング方法が提供される。前記方法は、現在ブロックに対して多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）（ＭＤＭＶＲ）の使用可否を決定するステップ、前記現在ブロックに前記ＭＤＭＶＲが使われることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップ、前記リファインされた動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップ、前記予測サンプルに基づいてレジデュアルサンプルを導出するステップ、及び前記レジデュアルサンプルに関する情報を含む映像情報をエンコーディングしてビットストリームを生成するステップ、を含む。

【0009】

本文書の他の一実施例によると、本文書の実施例のうち少なくとも一つに開示されたビデオ／映像エンコーディング方法によって生成されたエンコーディングされたビデオ／映像情報及び／又はビットストリームが格納されたコンピュータで読み取り可能なデジタル格納媒体を提供する。

【0010】

本文書の他の一実施例によると、映像情報のビットストリームを含むデータに対する送信方法を提供する。前記送信方法は、前記映像情報の前記ビットストリームを取得し、前記ビットストリームは、現在ブロックに対して多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）（ＭＤＭＶＲ）の使用可否を決定するステップ、前記現在ブロックに前記ＭＤＭＶＲが使われることに基づいて、前記現在ブロックに対するリファインされた動きベクトルを導出するステップ、前記リファインされた動きベクトルに基づいて前記現在ブロックに対する予測サンプルを導出するステップ、前記予測サンプルに基づいてレジデュアルサンプルを導出するステップ、及び前記レジデュアルサンプルに関する情報を含む映像情報をエンコーディングするステップに基づいて生成されるステップ、及び前記ビットストリームを含む前記データを送信するステップ、を含む。

【発明の効果】

【0011】

本文書は、多様な効果を有することができる。例えば、本文書によると、全般的な映像／ビデオ圧縮効率を高めることができる。また、本文書によると、効率的な多重レイヤを利用するデコーダサイド動きベクトルリファインメントベースの映像コーディングを実行することができる。また、本文書によると、インターコーディング構造の性能を向上させて処理の複雑性を増加させない多重レイヤを利用するデコーダサイド動きベクトルリファインメント方法を提供することができる。また、本文書によると、多重レイヤを使用するデコーダサイド動きベクトルリファインメントの使用可否を決定する多様な方案を提供することによって処理複雑性を増加させずに処理効率性を高めることができる。

【0012】

本文書の具体的な実施例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解し、または誘導できる多様な技術的効果が存在できる。これによって、本文書の具体的な効果は、本文書に明示的に記載されたものに制限されることなく、本文書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。

【図面の簡単な説明】

【0013】

【図1】本文書の実施例が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。

【図2】本文書の実施例が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。

【図3】本文書の実施例が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。

【図4】コーディングされたビデオ／映像に対する階層構造を例示的に示す。

【図5】ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【図6】ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）を使用してＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【図7】本文書の一実施例に係るＭＤＭＶＲ構造を例示的に示す。

【図8】本文書の他の実施例に係るＭＤＭＶＲ構造を例示的に示す。

【図9】本文書の実施例（ら）に係るビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。

【図10】本文書の実施例（ら）に係るビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。

【図11】本文書の実施例（ら）に係るビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。

【図12】本文書の実施例（ら）に係るビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。

【図13】本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。

【発明を実施するための形態】

【0014】

本文書は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明しようとする。しかし、これは本文書の実施例を特定実施例に限定しようとするものではない。本文書で使用する用語は、単に特定の実施例を説明するために使われたものであって、本文書の技術的思想を限定しようとする意図で使われたものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本文書において、「含む」または「有する」などの用語は、文書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないと理解されなければならない。

【0015】

一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすことができ、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0016】

本文書において、「ＡまたはＢ（Ａ ｏｒ Ｂ）」は「Ａのみ」、「Ｂのみ」または「ＡとＢの両方とも」を意味することができる。言い換えると、本文書において「ＡまたはＢ（Ａ ｏｒ Ｂ）」は「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈されることができる。例えば、本文書において、「Ａ、ＢまたはＣ（Ａ，Ｂ ｏｒ Ｃ）」は「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。

【0017】

本文書で使われるスラッシュ（／）やコンマ（ｃｏｍｍａ）は「及び／又は（ａｎｄ／ｏｒ）」を意味することができる。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」を意味することができる。これによって、「Ａ／Ｂ」は「Ａのみ」、「Ｂのみ」、または「ＡとＢの両方とも」を意味することができる。例えば、「Ａ、Ｂ、Ｃ」は「Ａ、ＢまたはＣ」を意味することができる。

【0018】

本文書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」または「ＡとＢの両方とも」を意味することができる。また、本文書において、「少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈されることができる。

【0019】

また、本文書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」、または「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。また、「少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）」は「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味することができる。

【0020】

また、本文書で使われる括弧は「例えば、（ｆｏｒ ｅｘａｍｐｌｅ）」を意味することができる。具体的に、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものである。言い換えると、本文書の「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されるものである。また、「予測（すなわち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものである。

【0021】

本文書は、ビデオ／映像コーディングに関する。例えば、本文書に開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書に開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）または次世代ビデオ／映像コーディング標準（例えば、Ｈ．２６７またはＨ．２６８等）に開示される方法に適用されることができる。

【0022】

この文書では、ビデオ／画像コーディングに関する様々な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせられて実行されることもできる。

【0023】

この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、サブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）／スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。サブピクチャ／スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のサブピクチャ／スライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。ブリックは、ピクチャ内のタイル内のＣＴＵ行（ｒｏｗ）の長方形領域を示すことができる。タイルは、多数のブリックでパーティショニングされることができ、各ブリックは、前記タイル内の一つ以上のＣＴＵ行で構成されることができる。多数のブリックによりパーティショニングされないタイルもブリックと呼ばれることができる。ブリックスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示すことができ、前記ＣＴＵは、ブリック内でＣＴＵラスタスキャンで整列されることができ、タイル内のブリックは、前記タイルの前記ブリックのラスタスキャンで連続的に整列されることができ、そして、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタスキャンで連続的に整列されることができる。また、サブピクチャは、ピクチャ内の一つ以上のスライスの長方形領域を示すことができる。すなわち、サブピクチャは、ピクチャの長方形領域を総括的にカバーする一つ以上のスライスを含むことができる。タイルは、特定タイル列及び特定タイル列以内のＣＴＵの長方形領域である。前記タイル列は、ＣＴＵの長方形領域であり、前記長方形領域は、前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示されることができる。前記タイル行は、ＣＴＵの長方形領域であり、前記長方形領域はピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは前記ピクチャの高さと同じである。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示すことができ、前記ＣＴＵは、タイル内のＣＴＵラスタスキャンで連続的に整列されることができ、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタスキャンで連続的に整列されることができる。スライスは、ピクチャの整数個のブリックを含むことができ、前記整数個のブリックは、一つのＮＡＬユニットに含まれることができる。スライスは、多数の完全なタイルで構成されることができ、または、一つのタイルの完全なブリックの連続的なシーケンスである。この文書では、タイルグループとスライスは混用されることができる。例えば、本文書では、ｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒは、ｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれることができる。

【0024】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0025】

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0026】

本文書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。

【0027】

以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示されたものであるため、本文書の技術的特徴が以下の図面に使われた具体的な名称に制限されない。

【0028】

以下、添付した図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重なった説明は省略されることができる。

【0029】

図１は、本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【0030】

図１に示すように、ビデオ／画像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスに伝達することができる。

【0031】

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラーを備えることができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に含まれることができる。受信機は、デコード装置に含まれることができる。レンダラーは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0032】

ビデオソースは、ビデオ／画像のキャプチャ、合成、または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを備えることができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを備えることができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程にてビデオ／画像キャプチャ過程が代替されることができる。

【0033】

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0034】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。

【0035】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコードすることができる。

【0036】

レンダラーは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

【0037】

図２は、本文書の実施例が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、エンコーディング装置とは、映像エンコーディング装置及び／又はビデオエンコーディング装置を含むことができる。

【0038】

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記録媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

【0039】

画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造が後ほど適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書に係るコーディング手順が実行されることができる。この場合、画像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）、より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0040】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0041】

エンコード装置２００は、入力画像信号（原本ブロック、原本サンプルアレイ）から、インター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力画像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0042】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒ Ｍｏｄｅ）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0043】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどのような候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なってレジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって現在ブロックの動きベクトルを指示することができる。

【0044】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0045】

前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち、少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形でない、可変サイズのブロックにも適用されることもできる。

【0046】

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を実行することができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、または別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書においてエンコード装置からデコード装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／画像情報に含まれることができる。前記ビデオ／画像情報は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル記録媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコード部２４０に含まれることもできる。

【0047】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによってレジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0048】

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0049】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0050】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置２００とデコード装置３００での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0051】

メモリ２７０ＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0052】

図３は、本文書の実施例が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。以下、デコーディング装置とは、映像デコーディング装置及び／又はビデオデコーディング装置を含むことができる。

【0053】

図３を参照すると、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｒｙ）３６０を含んで構成されることができる。予測部３３０は、イントラ予測部３３１及びインター予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むことができる。

【0054】

ビデオ／画像情報を含むビットストリームが入力されると、デコード装置３００は、図２のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを実行することができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出されることができる。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

【0055】

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣ等のコーディング方法を基にビットストリーム内の情報をデコードし、画像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報、または以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測し、ビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行して各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０でエントロピーデコードが実行されたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素である。一方、本文書に係るデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。

【0056】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0057】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0058】

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0059】

予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／画像情報に含まれてシグナリングされることができる。

【0060】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0061】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードから送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0062】

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0063】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または、次のピクチャのインター予測のために使用されることもできる。

【0064】

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0065】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0066】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。

【0067】

本文書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施例は、各々、デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。

【0068】

図４は、コーディングされたビデオ／映像に対する階層構造を例示的に示す。

【0069】

図４を参照すると、コーディングされたビデオ／映像は、ビデオ／映像のデコーディング処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、そしてＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。

【0070】

例えば、ＶＣＬでは、圧縮されたイメージデータ（スライスデータ）を含むＶＣＬデータが生成され、またはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）または映像デコーディング過程に追加で必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージを含むパラメータセットが生成されることができる。

【0071】

例えば、ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ（ｈｅａｄｅｒ）情報（ＮＡＬユニットヘッダ）を追加してＮＡＬユニットが生成されることができる。この場合、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ（ｓｌｉｃｅ ｄａｔａ）、パラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＥＩメッセージ（ＳＥＩ ｍｅｓｓａｇｅ）などを参照することができる。ＮＡＬユニットヘッダは、該当ＮＡＬユニットに含まれているＲＢＳＰデータによって指定されたＮＡＬユニットタイプ情報を含むことができる。

【0072】

例えば、図４に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに分類されることができる（ｃｌａｓｓｉｆｉｅｄ）。ＶＣＬ ＮＡＬユニットは、映像（ｉｍａｇｅ）に対する情報（スライスデータ）を含むＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像デコーディングに必要な情報（パラメータセットまたはＳＥＩメッセージ）を含むＮＡＬユニットを意味することができる。

【0073】

前述したＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットは、サブシステムのデータ規格（ｄａｔａ ｓｔａｎｄａｒｄ）によってヘッダ情報を添付してネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ）、リアルタイムトランスポートプロトコル（ｒｅａｌ－ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ、ＲＴＰ）、トランスポートプストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、ＴＳ）などのようなあらかじめ決められた標準のデータフォーマット（ｄａｔａ ｆｏｒｍａｔ）に変換されることができ、多様なネットワークを介して送信されることができる。

【0074】

また、前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれているＲＢＳＰデータ構造によってＮＡＬユニットタイプが指定されることができ、ＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。

【0075】

例えば、ＮＡＬユニットは、映像に対する情報（スライスデータ）を含むかどうかによってＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。また、ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットに含まれているピクチャの特性とタイプによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットのタイプによって分類されることができる。

【0076】

次は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプに含まれているパラメータセットのタイプによって指定されたＮＡＬユニットタイプの例である。

【0077】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＡＰＳを含むＮＡＬユニットに対するタイプ

【0078】

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＤＰＳを含むＮＡＬユニットに対するタイプ

【0079】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＶＰＳを含むＮＡＬユニットに対するタイプ

【0080】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＳＰＳを含むＮＡＬユニットに対するタイプ

【0081】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット：ＰＰＳを含むＮＡＬユニットに対するタイプ

【0082】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬユニット：ＰＨを含むＮＡＬユニットに対するタイプ

【0083】

前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプに対するシンタックス情報を有することができ、シンタックス情報は、ＮＡＬユニットヘッダに格納及びシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬ単位タイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に指定されることができる。

【0084】

一方、一つのピクチャは、複数のスライスを含むことができ、スライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、複数のスライス（スライスヘッダ及びスライスデータのセット）に対して一つのピクチャヘッダが追加されることができる。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通的に適用されることができる情報／パラメータを含むことができる。スライスヘッダ（スライスヘッダシンタックス）は、スライスに共通的に適用されることができる情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライスまたはピクチャに共通的に適用されることができる情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンス（ｓｅｑｕｅｎｃｅ）に共通的に適用されることができる情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、複数のレイヤに共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、全体映像に共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳは、コーディングされたビデオシーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ、ＣＶＳ）の連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）と関連した情報／パラメータを含むことができる。

【0085】

本文書において、エンコーディング装置からデコーディング装置にエンコーディングされてビットストリーム形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、インターレイヤ予測関連情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれている情報、前記ピクチャヘッダに含まれている情報、前記ＡＰＳに含まれている情報、前記ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含むことができる。また、前記映像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。

【0086】

一方、前述したように、ビデオコーディングを実行するにあたって、圧縮効率を高めるために予測を実行する。これによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。予測されたブロックは、エンコーディング装置及びデコーディング装置で同じく導出され、エンコーディング装置は、原本ブロックの原本サンプル値自体でない原本ブロックと予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで映像コーディング効率を高めることができる。デコーディング装置は、レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、レジデュアルブロックと予測されたブロックとを加えて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。

【0087】

前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、原本ブロックと予測されたブロックとの間のレジデュアルブロックを導出し、レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングすることができる。ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックとレジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。

【0088】

本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも一つは省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または表現の統一性のために変換係数と依然として呼ばれることもできる。また、前記変換／逆変換の省略可否は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇに基づいてシグナリングされることができる。

【0089】

本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と指称されることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。

【0090】

一方、前述したように、現在ブロックに対する予測を実行するにあたって、イントラ予測またはインター予測を適用することができる。以下では現在ブロックにインター予測を適用する場合に関して説明する。

【0091】

エンコーディング／デコーディング装置の予測部（より具体的にインター予測部）は、ブロック単位でインター予測を実行して予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素（例：サンプル値、または動き情報等）に依存した方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロックまたはサンプル単位で予測できる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、現在ブロックの隣接ブロックに基づいて動き情報候補リストが構成されることができ、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグまたはインデックス情報がシグナリングされることができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報と同じである。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を利用して現在ブロックの動きベクトルを導出することができる。

【0092】

前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）によってＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトルまたはＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトルまたはＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づく予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づく予測はＬ１予測と呼ばれることができ、Ｌ０動きベクトル及びＬ１動きベクトルの両方ともに基づく予測を双（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、現在ピクチャより出力順序上以後ピクチャを含むことができる。以前ピクチャは、順方向（参照）ピクチャと呼ばれることができ、以後ピクチャは、逆方向（参照）ピクチャと呼ばれることができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以後ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデクシングされ、以後ピクチャはその次にインデクシングされることができる。参照ピクチャリストＬ１は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリスト１内で以後ピクチャが先にインデクシングされ、以前ピクチャはその次にインデクシングされることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応されることができる。

【0093】

また、現在ブロックにインター予測を適用するにあたって、多様なインター予測モードが使われることができる。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アフィン（Ａｆｆｉｎｅ）モード、ＨＭＶＰ（ｈｉｓｔｏｒｉｃａｌ ｍｏｔｉｎｏ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードなど、多様なモードが使われることができる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随的なモードとしてさらに使用されることができる。アフィンモードは、アフィン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。本文書において、一部モード及び／又は一部モードによって導出された動き情報候補は、他のモードの動き情報関連候補のうち一つとして含まれることもできる。

【0094】

現在ブロックのインター予測モードを指す予測モード情報がエンコーディング装置からデコーディング装置にシグナリングされることができる。このとき、予測モード情報は、ビットストリームに含まれてデコーディング装置に受信されることができる。予測モード情報は、多数の候補モードのうち一つを指示するインデックス情報を含むことができる。または、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、予測モード情報は、一つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモード適用可否を指示し、スキップモードが適用されない場合にマージフラグをシグナリングしてマージモード適用可否を指示し、マージモードが適用されない場合にＭＶＰモードが適用されることと指示し、または追加的な区分のためのフラグをさらにシグナリングすることもできる。アフィンモードは、独立的なモードでシグナリングされることもでき、またはマージモードまたはＭＶＰモードなどに従属的なモードでシグナリングされることもできる。例えば、アフィンモードは、アフィンマージモード及びアフィンＭＶＰモードを含むことができる。

【0095】

また、現在ブロックにインター予測を適用するにあたって、現在ブロックの動き情報を利用することができる。エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出することができる。例えば、エンコーディング装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを利用して相関性が高い類似した参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索でき、これを介して動き情報を導出することができる。ブロックの類似性は、位相（ｐｈａｓｅ）ベースのサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（または、現在ブロックのテンプレート）と参照ブロック（または、参照ブロックのテンプレート）との間のＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）に基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出することができる。導出された動き情報は、インター予測モードに基づいて多様な方法によってデコーディング装置にシグナリングされることができる。

【0096】

前記のようにインター予測モードによって導出された動き情報に基づいて現在ブロックに対する予測されたブロックを導出することができる。予測されたブロックは、現在ブロックの予測サンプル（予測サンプルアレイ）を含むことができる。現在ブロックの動きベクトル（ＭＶ）が分数サンプル単位を指す場合、補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順が実行されることができ、これを介して参照ピクチャ内で分数サンプル単位の参照サンプルに基づいて現在ブロックの予測サンプルが導出されることができる。現在ブロックにアフィン（Ａｆｆｉｎｅ）インター予測が適用される場合、サンプル／サブブロック単位ＭＶに基づいて予測サンプルを生成することができる。双予測が適用される場合、Ｌ０予測（すなわち、参照ピクチャリストＬ０内の参照ピクチャとＭＶＬ０を利用した予測）に基づいて導出された予測サンプルと、Ｌ１予測（すなわち、参照ピクチャリストＬ１内の参照ピクチャとＭＶＬ１を利用した予測）に基づいて導出された予測サンプルと、の（位相による）加重和または加重平均を介して導出された予測サンプルが現在ブロックの予測サンプルとして利用されることができる。双予測が適用される場合、Ｌ０予測に利用された参照ピクチャとＬ１予測に利用された参照ピクチャが、現在ピクチャを基準にして互いに異なる時間的方向に位置する場合、（すなわち、双予測であり、かつ両方向予測に該当する場合）これをｔｒｕｅ双予測と呼ぶことができる。

【0097】

導出された予測サンプルに基づいて復元サンプル及び復元ピクチャが生成されることができ、以後インループフィルタリングなどの手順が実行されることができることは、前述した通りである。

【0098】

一方、スキップモード及び／又はマージモードは、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）無しで隣接ブロックの動きベクトルに基づいて現在ブロックの動きを予測するため、動き予測において限界を示す。スキップモード及び／又はマージモードの限界を改善するために、ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）、ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）モードなどを適用して動きベクトルをリファイン（ｒｅｆｉｎｅ）することができる。ＤＭＶＲ、ＢＤＯＦモードは、現在ブロックにｔｒｕｅ双予測が適用される場合に使われることができる。

【0099】

図５は、ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【0100】

ＤＭＶＲは、デコーダ側で隣接ブロックの動き情報をリファイン（ｒｅｆｉｎｅｍｅｎｔ）して動き予測を実行する方法である。ＤＭＶＲが適用される場合、デコーダは、マージ（ｍｅｒｇｅ）／スキップ（ｓｋｉｐ）モードで隣接ブロックの動き情報を利用して生成されたテンプレート（ｔｅｍｐｌａｔｅ）に基づいてｃｏｓｔ比較を介してリファインされた動き情報を誘導することができる。この場合、付加的なシグナリング情報無しで動き予測の精密度を高め、圧縮性能を向上させることができる。

【0101】

本文書において、説明の便宜のためにデコーディング装置を中心に説明するが、本文書の実施例に係るＤＭＶＲは、エンコーディング装置でも同じ方法で実行されることができる。

【0102】

図５を参照すると、デコーディング装置は、ｌｉｓｔ０及びｌｉｓｔ１方向の初期動きベクトル（または、動き情報）（例：ＭＶ０及びＭＶ１）により識別される予測ブロック（すなわち、参照ブロック）を導出し、導出された予測ブロックを加重和（例えば、平均）してテンプレート（または、ｂｉｌａｔｅｒａｌ ｔｅｍｐｌａｔｅ）を生成することができる（ｓｔｅｐ１）。ここで、初期動きベクトル（ＭＶ０及びＭＶ１）は、マージ／スキップモードで隣接ブロックの動き情報を利用して誘導された動きベクトルを示すことができる。

【0103】

そして、デコーディング装置は、テンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）動作を介してテンプレートと参照ピクチャのサンプル領域間の差分値を最小化する動きベクトル（例：ＭＶ０′及びＭＶ１′）を誘導することができる（ｓｔｅｐ２）。ここで、サンプル領域は、参照ピクチャ内で初期予測ブロックの周辺領域を示し、サンプル領域は、周辺領域、参照領域、探索領域、探索範囲、探索空間などと指称されることができる。テンプレートマッチング動作は、テンプレートと参照ピクチャのサンプル領域間のｃｏｓｔ測定値を計算する動作を含むことができる。例えば、ｃｏｓｔ測定にはＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）が利用されることができる。一例として、ｃｏｓｔ関数として正規化されたＳＡＤが使われることができる。このとき、ｍａｔｃｈｉｎｇ ｃｏｓｔは、ＳＡＤ（Ｔ－ｍｅａｎ（Ｔ）、２＊Ｐ［ｘ］－２＊ｍｅａｎ（Ｐ［ｘ］））として与えられることができる。ここで、Ｔはテンプレートを示し、Ｐ［ｘ」は探索領域内のブロックを示す。そして、２個の参照ピクチャの各々に対して最小テンプレートｃｏｓｔを算出する動きベクトルは、更新された動きベクトル（初期動きベクトルを代替する）として考慮されることができる。図５に示すように、デコーディング装置は、更新された動きベクトルＭＶ０′及びＭＶ１′を利用して最終両方向予測結果（すなわち、最終両方向予測ブロック）を生成することができる。一実施例として、更新された（または、新しい）動きベクトル誘導のためのｍｕｌｔｉ－ｉｔｅｒａｔｉｏｎが最終両方向予測結果取得に使われることができる。

【0104】

一実施例において、デコーディング装置は、初期動き補償予測（すなわち、従来のマージ／スキップモードを介した動き補償予測）の正確度を向上させるためにＤＭＶＲプロセスを呼び出しすることができる。例えば、デコーディング装置は、現在ブロックの予測モードがマージモードまたはスキップモードであり、現在ブロックにディスプレイ順序上現在ピクチャを基準にして両方向の参照ピクチャが反対方向にある両方向双予測が適用される場合、ＤＭＶＲプロセスを実行することができる。

【0105】

図６は、ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）を使用してＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）を実行する過程の一実施例を説明するための図である。

【0106】

前述したように、デコーディング装置は、ＤＭＶＲを実行するにあたって、ＳＡＤを利用してｍａｔｃｈｉｎｇ ｃｏｓｔを測定することができる。一実施例として、図６ではテンプレートを生成せず、二つの参照ピクチャ内の予測サンプル間のＭＲＳＡＤ（Ｍｅａｎ Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を計算して動きベクトルをリファインする方法を説明する。すなわち、図６の方法は、ＭＲＳＡＤを利用する両方向マッチング（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ）の一実施例を示す。

【0107】

図６を参照すると、デコーディング装置は、ｌｉｓｔ０（Ｌ０）方向の動きベクトル（ＭＶ０）により指示される画素（サンプル）の隣接画素をＬ０参照ピクチャ上で導出し、ｌｉｓｔ１（Ｌ１）方向の動きベクトル（ＭＶ１）により指示される画素（サンプル）の隣接画素をＬ１参照ピクチャ上で導出することができる。そして、デコーディング装置は、Ｌ０参照ピクチャ上で導出された隣接画素を指示する動きベクトルにより識別されるＬ０予測ブロック（すなわち、Ｌ０参照ブロック）と、Ｌ１参照ピクチャ上で導出された隣接画素を指示する動きベクトルにより識別されるＬ１予測ブロック（すなわち、Ｌ１参照ブロック）と、の間のＭＲＳＡＤを計算してｍａｔｃｈｉｎｇ ｃｏｓｔを測定することができる。このとき、デコーディング装置は、最小ｃｏｓｔを有する探索地点（すなわち、Ｌ０予測ブロックとＬ１予測ブロックとの間の最小ＳＡＤを有する探索領域）をリファインされた動きベクトル対として選択できる。すなわち、リファインされた動きベクトル対は、Ｌ０参照ピクチャで最小ｃｏｓｔを有する画素位置（Ｌ０予測ブロック）を指すリファインされたＬ０動きベクトルと、Ｌ１参照ピクチャで最小ｃｏｓｔを有する画素位置（Ｌ１予測ブロック）を指すリファインされたＬ１動きベクトルと、を含むことができる。

【0108】

一実施例として、ｍａｔｃｈｉｎｇ ｃｏｓｔを計算するにあたって、参照ピクチャの探索領域が設定された後、単方向予測は、ｒｅｇｕｌａｒ ８ ｔａｐ ＤＣＴＩＦ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒを使用して実行されることができる。また、一例として、ＭＲＳＡＤ計算は、１６ビット精密度が使われることができ、内部バッファを考慮してＭＲＳＡＤ計算以前にクリッピング及び／又は丸め演算が適用されない。

【0109】

前述したように、現在ブロックにｔｒｕｅ双予測が適用される場合、双予測信号をリファインするためにＢＤＯＦが使われることができる。ＢＤＯＦ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ）は、現在ブロックに双予測が適用される場合、改善された動き情報を計算し、これに基づいて予測サンプルを生成するために使われることができる。例えば、ＢＤＯＦは、４ｘ４サブブロック（ｓｕｂ－ｂｌｏｃｋ）レベルで適用されることができる。すなわち、ＢＤＯＦは、現在ブロック内の４ｘ４サブブロック単位で実行されることができる。または、ＢＤＯＦは、ルマ成分に対してのみ適用されることができる。または、ＢＤＯＦは、クロマ成分に対してのみ適用されることもでき、ルマ成分及びクロマ成分に対して適用されることもできる。

【0110】

ＢＤＯＦモードは、その名称で示すように、オブジェクトの動きがｓｍｏｏｔｈと仮定するオプティカルフロー（ｏｐｔｉｃａｌ ｆｌｏｗ）概念に基づく。４ｘ４サブブロックの各々に対して、Ｌ０及びＬ１予測サンプル間の差値を最小化することによって、動きリファインメント（ｖ_ｘ、ｖ_ｙ）が計算されることができる。そして、動きリファインメントは、４ｘ４サブブロックで双予測サンプル値を調整するために使われることができる。

【0111】

前述したＤＭＶＲ及びＢＤＯＦは、ｔｒｕｅ双予測を適用する場合（このとき、ｔｒｕｅ双予測は、現在ブロックのピクチャを基準にして異なる方向の参照ピクチャで動き予測／補償する場合を示す）、動き情報をリファインして予測を実行する技術であって、ピクチャ内のオブジェクトの動きが一定速度、一定の方向に行われる場合を仮定しているという点で類似した概念のリファインメント技術であることを知ることができる。

【0112】

一方、以下ではインターコーディング構造の性能を向上させるためにデコーダでインターモード（ら）及び／又はインター予測（ら）の決定／パーシングに使われることができる構造及び特徴を説明する。説明された方法（ら）は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に基づいて作成されるが、他の過去または未来のビデオコーディング技術にも適用されることができる。

【0113】

本文書ではインターコーディングの性能を向上させるために多重パス（ｍｕｌｔｉ－ｐａｓｓ）ＤＭＶＲ技術が適用されることができる。多重パスＤＭＶＲ（すなわち、ＭＤＭＶＲ）は、次世代ビデオコーデックでＤＭＶＲの技術を追加的に向上（及びｓｉｍｐｌｉｆｙ）するための技術であって、１番目のパスでは両方向マッチング（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ、ＢＭ）がコーディングブロックに適用され、２番目のパスでＢＭはコーディングブロック内の各１６ｘ１６サブブロックに適用され、３番目のパスではＢＤＯＦを適用して各８ｘ８サブブロックのＭＶを改善（ｒｅｆｉｎｅｄ）することができる。ここで、改善されたＭＶは、空間及び時間モーションベクトル予測のために格納されることができる。

【0114】

多重パスＤＭＶＲに対してより具体的に説明すると、ＭＤＭＶＲの１番目のパスで、コーディングブロックにＢＭ（ｂｉｌａｔｅｒａｌ ｍａｔｃｈｉｎｇ）を適用して改善された（ｒｅｆｉｎｅｄ）ＭＶを導出することができる。ＤＭＶＲ（Ｄｅｃｏｄｅｒ－Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）と類似するように、両方向（ｂｉ－ｐｒｅｄｉｃｔｉｏｎ）予測動作で改善されたＭＶは、参照ピクチャリストＬ０及びＬ１で二つの初期ＭＶ（ＭＶ０及びＭＶ１）周辺で探索（ｓｅａｒｃｈ）されることができる。改善されたＭＶ（ＭＶ０＿ｐａｓｓ１及びＭＶ１＿ｐａｓｓ１）は、Ｌ０及びＬ１内の二つの参照ブロック間の最小両方向マッチングｃｏｓｔに基づいて初期ＭＶ周辺で導出されることができる。

【0115】

ＢＭは、整数サンプル精密度ｉｎｔＤｅｌｔａＭＶを導出するためにローカル探索を実行することができる。ローカル探索は、３ｘ３正方形探索パターンを適用して水平方向の探索範囲［－ｓＨｏｒ、ｓＨｏｒ］及び垂直方向の探索範囲［－ｓＶｅｒ、ｓＶｅｒ］に対して繰り返しすることができる。ここで、ｓＨｏｒ及びｓＶｅｒの値はブロック次元（ｄｉｍｅｎｓｉｏｎ）により決定され、ｓＨｏｒとｓＶｅｒの最大値は８である。

【0116】

両方向マッチングｃｏｓｔは、ｂｉｌＣｏｓｔ＝ｍｖＤｉｓｔａｎｃｅＣｏｓｔ＋ｓａｄＣｏｓｔで計算されることができる。ブロック大きさｃｂＷ＊ｃｂＨが６４より大きい場合、ＭＲＳＡＤ費用関数を適用して参照ブロック間のＤＣ歪曲効果を除去することができる。３ｘ３探索パターンの中心点にあるｂｉｌＣｏｓｔが最小費用を有する場合、ｉｎｔＤｅｌｔａＭＶローカル探索を終了することができる。そうでない場合、現在最小費用探索地点が３ｘ３探索パターンの新しい中心点になって探索範囲の端に到達する時まで最小費用探索を続けることができる。

【0117】

最終ｄｅｌｔａＭＶを導出するために既存の分数サンプルリファインメント（ｆｒａｃｔｉｏｎａｌ ｓａｍｐｌｅ ｒｅｆｉｎｅｍｅｎｔ）が追加で適用されることができる。１番目のパス後、改善されたＭＶは、以下のように導出されることができる。

【0118】

ＭＶ０＿ｐａｓｓ１＝ＭＶ０＋ｄｅｌｔａＭＶ

【0119】

ＭＶ１＿ｐａｓｓ１＝ＭＶ１－ｄｅｌｔａＭＶ

【0120】

ＭＤＭＶＲの２番目のパスで、１６ｘ１６グリッドサブブロックにＢＭを適用して改善された（ｒｅｆｉｎｅｄ）ＭＶを導出することができる。各サブブロックに対して、参照ピクチャリストＬ０及びＬ１で１番目のパスで取得した二つのＭＶ（ＭＶ０＿ｐａｓｓ１、ＭＶ１＿ｐａｓｓ１）周辺で改善されたＭＶが探索されることができる。改善されたＭＶ（ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）及びＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２））は、Ｌ０及びＬ１内の二つの参照サブブロック間の最小両方向マッチングｃｏｓｔに基づいて導出されることができる。

【0121】

各サブブロックに対して、ＢＭは、整数サンプル精密度ｉｎｔＤｅｌｔａＭＶを導出するために全体探索を実行することができる。全体探索は、水平方向に［－ｓＨｏｒ、ｓＨｏｒ］、垂直方向に［－ｓＶｅｒ、ｓＶｅｒ］の探索範囲を有し、ここで、ｓＨｏｒ及びｓＶｅｒの値はブロック次元により決定され、ｓＨｏｒ及びｓＶｅｒの最大値は８である。

【0122】

両方向マッチングｃｏｓｔは、ｂｉｌＣｏｓｔ＝ｓａｔｄＣｏｓｔ＊ｃｏｓｔＦａｃｔｏｒのように二つの参照サブブロック間のＳＡＴＤ費用に費用要素（ｃｏｓｔ ｆａｃｔｏｒ）を適用して計算されることができる。探索領域（２＊ｓＨｏｒ＋１）＊（２＊ｓＶｅｒ＋１）は、最大５個のダイアモンド型探索領域に分けることができる。各探索領域には各探索地点と開始ＭＶとの間の距離（ｉｎｔＤｅｌｔａＭＶ）により決定されるｃｏｓｔＦａｃｔｏｒが割り当てられ、各ダイアモンド領域は、探索領域の中心から始める順序に処理されることができる。各領域で、探索ポイントは、該当領域の左側上端（ｔｏｐ ｌｅｆｔ）から始まって右側下端コーナー（ｂｏｔｔｏｍ ｒｉｇｈｔ ｃｏｒｎｅｒ）までラスタスキャン順序（ｒａｓｔｅｒ ｓｃａｎ ｏｒｄｅｒ）に処理されることができる。現在探索領域内の最小ｂｉｌＣｏｓｔがｓｂＷ＊ｓｂＨのような閾値より小さい場合、ｉｎｔ－ｐｅｌ全体探索が終了され、そうでない場合、全ての探索ポイントが検査される時までｉｎｔ－ｐｅｌ全体探索が次の探索領域に続くことができる。

【0123】

既存ＶＶＣにおいて、ＤＭＶＲ分数サンプルリファインメントは、最終ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）を導出するために追加で適用されることができる。２番目のパスで改善されたＭＶは、以下のように導出されることができる。

【0124】

ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ０＿ｐａｓｓ１＋ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）

【0125】

ＭＶ１＿ｐａｓｓ２（ｓｂＩｄｘ２）＝ＭＶ１＿ｐａｓｓ１－ｄｅｌｔａＭＶ（ｓｂＩｄｘ２）

【0126】

ＭＤＭＶＲの３番目のパスで、８ｘ８グリッドサブブロックにＢＤＯＦを適用して改善された（ｒｅｆｉｎｅｄ）ＭＶを導出することができる。各８ｘ８サブブロックに対して、ＢＤＯＦリファインメントは、２番目のパスの親サブブロックの改善されたＭＶから始まってクリッピング無しでスケーリングされたＶｘ及びＶｙを導出するために適用されることができる。導出されたｂｉｏＭｖ（Ｖｘ、Ｖｙ）は、１／１６サンプル精密度で四捨五入されて－３２と３２との間でクリッピングされることができる。

【0127】

３番目のパスで改善されたＭＶ（ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）及びＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３））は、次のように導出されることができる。

【0128】

ＭＶ０＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）＋ｂｉｏＭｖ

【0129】

ＭＶ１＿ｐａｓｓ３（ｓｂＩｄｘ３）＝ＭＶ０＿ｐａｓｓ２（ｓｂＩｄｘ２）－ｂｉｏＭｖ

【0130】

一方、本文書は、前述のようなデコーダサイド動きベクトル導出（Ｄｅｃｏｄｅｒ－Ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｅｒｉｖａｔｉｏｎ、ＤＭＶＤ）（すなわち、ＤＭＶＲ及び／又は多重パスＤＭＶＲ）を適用するにあたって、インターコーディング構造の性能を向上させ、処理の複雑性を増加させない方案を提案する。このために、下記のような側面が考慮されることができる。すなわち、提案される方法は下記のような実施例を含むことができ、提案される実施例は個別的にまたは組み合わせして適用されることができる。

【0131】

１．一例として、ＤＭＶＲは、最終リファインされた動きベクトルを導出するために多重レベルまたは多重パスまたは多重ステップで適用されることができる。本開示の目的のために、多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲは、ＭＤＭＶＲと指称されることができる。また、多重レイヤは、多重パス、多重レベル、または多重ステップなどと指称されることもできる。

【0132】

２．また、一例として、ＭＤＭＶＲの使用は、下記のいくつかの要素（ｆａｃｔｏｒｓ）を考慮して決定されることができる。

【0133】

ａ．各ＣＵは、多様な数のレイヤを有することができる。例えば、現在ＰＵは２個のレイヤを有することができ、次のＰＵは３個のレイヤが必要である。

【0134】

ｂ．ＭＶＤ情報を使用してＤＭＶＲがブロックに適用されるべきかまたは適用されることができるＤＭＶＲのレベルまたはレイヤ数を決定することが可能である。

【0135】

ｉ）例えば、１番目の場合（すなわち、ＤＭＶＲのｏｎ／ｏｆｆ制御のための使用）、マージモードでのＭＶＤがあらかじめ決定された閾値を超えると、ＤＭＶＲを適用しないことが可能である。例えば、閾値は、１／４画素（ｐｅｌ）、１／２画素（ｐｅｌ）、１画素（ｐｅｌ）、４画素（ｐｅｌ）及び／又はその他の適切なＭＶＤ単位で選択されることができる。

【0136】

ｉｉ）例えば、特定ブロック大きさに対して、閾値（ら）のうちいずれか一つでも満たされない場合、ＤＭＶＲが適用されない。

【0137】

ｉｉｉ）または、このような閾値を使用してＤＭＶＲに単一レイヤ、２個レイヤ、または多重レイヤを適用すべきかどうかを決定することが可能なこともある。例えば、ＭＶＤが特定閾値の範囲内にある場合、８ｘ８レベルでない１６ｘ１６レベルでＤＭＶＲを実行することで十分である。

【0138】

３．また、一例として、ＭＤＭＶＲを実行する場合、各レイヤは、同じ探索パターンを有することもでき、または異なる探索パターンを有することもできる。

【0139】

４．また、一例として、探索ポイントは、一般的に探索パターンによって異なることがある。したがって、初期に多くの探索ポイントと相関関係がある大きい探索を使用し、以後レイヤで小さい探索パターンと少ない数の探索ポイントを考慮して探索領域を減らすことが可能でかつ有利である。

【0140】

５．追加的に、初期探索パターンの正確度は整数ベースであって、追加レイヤ正確度は１／２－画素（ｐｅｌ）または１／４画素（ｐｅｌ）である。

【0141】

６．また、一例として、考慮される探索パターンは、正方形、ダイアモンド型、十字型、長方形及び／又はブロックの基本的な動きをキャプチャするための他の適切な形状を含むことができるが、これに限定されるものではない。

【0142】

ａ．例えば、ｘ方向の動きベクトルがｙ方向の動きベクトルより大きい場合、長方形探索パターンがブロックの基本的な動きをキャプチャするときにさらに適合できるため有用である。

【0143】

ｂ．または、垂直動きが多いブロックに対してダイアモンド型／十字型がさらに適合できる。

【0144】

７．また、一例として、探索領域の大きさは、ブロックの大きさによって各ブロック毎に異なることがある。

【0145】

ａ．例えば、より大きいブロックが使われる場合、７ｘ７／８ｘ８、またはそれ以上、または他の適切な正方形／ダイアモンド型探索パターンを使用することが可能である。これは可変ＤＭＶＲグラニュラリティ（ｇｒａｎｕｌａｒｉｔｙ）と共に使われることができる。

【0146】

ｂ．または、ブロックがより小さい場合、探索領域は５ｘ５より小さくすることができる。

【0147】

ｃ．また、基本的な動き情報、利用可能な隣接ブロックの動き特性に基づいて探索領域の大きさを決定することが可能である。例えば、ブロックＭＶＤが（あらかじめ決定されることができる）閾値Ｔより大きい場合、７ｘ７探索領域が使われることができる。

【0148】

８．また、一例として、処理を待つ間に参照サンプルをあらかじめフェッチして（ｐｒｅ－ｆｅｔｃｈ）メモリに格納されることが可能である。例えば、サンプルをあらかじめフェッチした（ｐｒｅ－ｆｅｔｃｈ）場合、サンプルは参照サンプルパディングされることができる。

【0149】

９．ＶＶＣにおいて、ＤＭＶＲは、繰り返しプロセス（ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ）を使用してリファインされたＭＶを評価する手段としてＳＡＤを使用する。しかし、歪曲を評価するためにいくつかの他の歪曲メトリック（ｄｉｓｔｏｒｔｉｏｎ ｍｅｔｒｉｃｓ）を使用することが可能である。

【0150】

ａ．例えば、Ｌ０ノルム（ｎｏｒｍ）が使われることができ、ここで、初期及び中間動きベクトルは、ｘまたはｙ方向に動き変化があったかどうかを決定するときに使われることができる。これは以後早期終了されることができるかどうかを評価するときに使われることができる。

【0151】

ｂ．または、例えば、ユークリッドノルム（Ｅｕｃｌｉｄｅａｎ Ｎｏｒｍ）（Ｌ２）のようなノルムの他の形式を使用してどの地点が最も大きい変位（ｄｉｓｐｌａｃｅｍｅｎｔ）を有するかを指示することができるため、基準点（ｏｕｔｌｉｅｒ）を指示することができる。

【0152】

ｃ．また、例えば、ＭＲ－ＳＡＤ（Ｍｅａｎ Ｒｅｍｏｖｅｄ－Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を使用することが可能である。また、ＭＲ－ＳＡＤの様々な変形を使用することもできる。例えば、全ての代替行／列のＭＲＳＡＤまたは各ブロック毎に累積平均の以前ブロックのＭＲＳＡＤが使われることができる。

【0153】

１０．また、一例として、歪曲測定を減衰／増幅（ａｔｔｅｎｕａｔｅ／ａｍｐｌｉｆｙ）するために追加加重値要素（ｗｅｉｇｈｔｉｎｇ ｆａｃｔｏｒｓ）を追加することが可能である。特定探索地点の歪曲が他の探索地点より優先する場合、このような考慮事項が考慮されることができる。

【0154】

ａ．例えば、初期探索地点が探索範囲内の他の地点より優先すべき場合、初期エラー／歪曲メトリック（ｅｒｒｏｒ／ｄｉｓｔｏｒｔｉｏｎ ｍｅｔｒｉｃ）に対する加重値を適用して初期値（ら）が最小歪曲費用を発生させることができる。

【0155】

ｂ．他の例として、使用する加重値を決定するために隣接ブロックの利用可能な動き情報を考慮することが可能である。

【0156】

１１．また、一例として、ＭＤＭＶＲの単一レイヤ内でまたは各レイヤ内で早期終了を容易にすることが可能である。

【0157】

ａ．例えば、ＭＤＭＶＲは、初期開始ＭＶと繰り返し間の地点でのＭＶとの間の距離が閾値Ｔより小さい場合、早期終了されることができ、その後、探索は終了されることができる。

【0158】

ｂ．または、全ての終了条件は、レイヤ間で確認されることができる。例えば、ＣＵではＤＭＶＲのために３個のレイヤを使用するようにシグナリングできる。しかし、１番目のレイヤ以後に終了条件が満たされると、ＤＭＶＲは終了されることができる。

【0159】

ｃ．または、例えば、サンプルベースの差またはＳＡＤベースの差のような他の早期終了方法論（ｍｅｔｈｏｄｏｌｏｇｉｅｓ）も個別確認または組み合わせで使われることができる。

【0160】

１２．また、一例として、単一レイヤＤＭＶＲまたはＭＤＭＶＲの使用は、多数のパラメータセットでシグナリングされることができる。

【0161】

ａ．例えば、ＭＤＭＶＲの使用は、関連ＧＣＩフラグと共にＳＰＳで単一フラグをシグナリングすることで全体シーケンスに対して固定されることができる。

【0162】

ｂ．シーケンスがＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）／ＳＨ（Ｓｌｉｃｅ ｈｅａｄｅｒ）／ＣＵ（Ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他の適切なヘッダでＤＭＶＲとＭＤＭＶＲとの間を転換することが可能である。

【0163】

ｉ）例えば、既存ＤＭＶＲまたはＭＤＭＶＲの使用は、ＰＨまたは下位レベルに存在する追加制御を介してＰＰＳでシグナリングされることができる。

【0164】

ｉｉ）例えば、ＣＵレベルでＤＭＶＲとＭＤＭＶＲとの間を転換することが可能である。すなわち、各ＣＵは、独立的に転換されることができる。

【0165】

ｃ．ＳＰＳでフラグ、またはＰＴＬフラグ、すなわち、ＧＣＩ制約フラグがシグナリングされる時、固定長さコーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）されることができるということを考慮することができる。

【0166】

ｄ．ＭＤＭＶＲに対するシンタックスエレメントがＰＰＳまたは下位レベルでシグナリングされる場合、必要な細部情報をシグナリングするためにコンテキストコーディング（ｃｏｎｔｅｘｔ ｃｏｄｉｎｇ）を使用することが適切である。

【0167】

ｉ）例えば、シグナリングされることができる情報は、レイヤの数、ＭＤＭＶＲ適用のグラニュラリティ（ｇｒａｎｕｌａｒｉｔｙ）、早期終了が明示的に使われるかどうか等を含むことができるが、これに限定されるものではない。

【0168】

ｉｉ）また、例えば、コンテキストモデルの数、初期化値は、ブロック統計の関連側面を考慮して決定されることができる。

【0169】

一方、前述のような多重レイヤＤＭＶＲ（すなわち、ＭＤＭＶＲ）の使用は、圧縮効率を介してビデオ品質を向上させるときに有利であると考慮されることができる。これによって、本文書は、ＭＤＭＶＲの使用と関連した情報を効率的にシグナリングする方法を提案する。これと関連して、デコーダで実行されることができる構造の例示として図７及び図８のように動作できる。

【0170】

図７は、本文書の一実施例に係るＭＤＭＶＲ構造を例示的に示す。

【0171】

図７の例では、フラグ／インデックスを使用してＭＤＭＶＲまたは既存ＤＭＶＲが使われるかどうかを把握することができる（Ｓ７００）。一般的に、このようなフラグ（単一ビン（ｓｉｎｇｌｅ ｂｉｎ）または多重固定長さコーディングビン（ｍｕｌｔｉｐｌｅ ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｅｄ ｂｉｎｓ））は、ＤＭＶＲが使われるか（例：インデックス０）、単一レイヤＤＭＶＲが使われるか（例：インデックス１）、または単一及びＭＤＭＶＲが全て使われるか（例：インデックス２）を示すときに使われることができる。例えば、既存ＤＭＶＲが使われる場合、既存ＤＭＶＲ処理過程が実行される（Ｓ７１０）。ＭＤＭＶＲが使われる場合、追加制御情報がスライスヘッダまたはピクチャヘッダでシグナリングされることができる（Ｓ７２０～Ｓ７４０）。

【0172】

より具体的に、デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報（例：ＭＤＭＶＲイネイブルフラグまたはインデックス情報）を取得し、前記情報に基づいてＤＭＶＲが使われるかまたはＭＤＭＶＲが使われるかを決定することができる（Ｓ７００）。前記ＭＤＭＶＲの使用可否に関連した情報は、ＭＤＭＶＲがイネイブルするかどうかを示す情報であり、上位レベル（例：ＳＰＳ）シンタックスでシグナリングされることができる。

【0173】

例えば、デコーディング装置は、ＭＤＭＶＲの使用可否に関連したフラグ情報を取得し、前記フラグ情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記フラグ情報の値が１である場合、ＭＤＭＶＲが使われることと決定できる。

【0174】

または、例えば、デコーディング装置は、ＭＤＭＶＲの使用可否に関連したインデックス情報を取得し、前記インデックス情報の値に基づいてＤＭＶＲまたはＭＤＭＶＲの使用を決定することができる。例えば、前記インデックス情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記インデックス情報の値が１である場合、ＭＤＭＶＲが使われることと決定できる。または、前述したように、前記インデックス情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記インデックス情報の値が１である場合、単一レイヤＤＭＶＲが使われることと決定し、前記インデックス情報の値が２である場合、多重レイヤＤＭＶＲ（すなわち、ＭＤＭＶＲ）が使われることと決定できる。

【0175】

デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報に基づいてＤＭＶＲが使われることと決定した場合、ＤＭＶＲを実行することができる（Ｓ７１０）。

【0176】

デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報に基づいてＭＤＭＶＲが使われることと決定した場合、追加制御情報を取得することができる（Ｓ７２０）。

【0177】

前記追加制御情報は、下位レベル（例：ピクチャヘッダ、スライスヘッダ等）でのＭＤＭＶＲ関連制御情報であり、例えば、ＭＤＭＶＲ関連シンタックスエレメントがピクチャヘッダシンタックスに存在するかどうかを示すことができる。例えば、前記追加制御情報の値が０である場合、前記追加制御情報（例：ＭＤＭＶＲ関連シンタックスエレメント）がピクチャヘッダシンタックスに存在しないことを示し、前記追加制御情報の値が１である場合、前記追加制御情報（例：ＭＤＭＶＲ関連シンタックスエレメント）がピクチャヘッダシンタックスに存在することを示すことができる。

【0178】

デコーディング装置は、前記追加制御情報の値が０である場合、ピクチャヘッダシンタックスに前記ＭＤＭＶＲ関連追加制御情報が存在しないことを把握することができ、スライスヘッダでのＭＤＭＶＲ関連情報を取得することができる（Ｓ７３０）。

【0179】

前記スライスヘッダでのＭＤＭＶＲ関連情報は、ＭＤＭＶＲ関連シンタックスエレメントがスライスヘッダに存在するかどうかを示すことができる。例えば、前記ＭＤＭＶＲ関連情報の値が１である場合、ＭＤＭＶＲ関連シンタックスエレメントがスライスヘッダに存在することを示し、以後スライスヘッダからＭＤＭＶＲ関連シンタックスエレメントがシグナリング／パーシングされることができる。

【0180】

デコーディング装置は、前記追加制御情報の値が１である場合、ピクチャヘッダシンタックスに前記ＭＤＭＶＲ関連シンタックスエレメントが存在することを把握することができ、ピクチャヘッダからＭＤＭＶＲ関連シンタックスエレメントを取得することができる（Ｓ７４０）。

【0181】

以後、デコーディング装置は、ピクチャヘッダまたはスライスヘッダからシグナリングされるＭＤＭＶＲ関連情報に基づいてＭＤＭＶＲを実行することができる。

【0182】

図８は、本文書の他の実施例に係るＭＤＭＶＲ構造を例示的に示す。

【0183】

図８の例では、ＭＤＭＶＲ情報がＰＰＳまたはＣＵレベルでシグナリングされることができる。ＤＭＶＲは、ＰＵレベルで実行されることができる。ここで、ＭＤＭＶＲがイネイブル（ｅｎａｂｌｅ）されると、制御エレメントがＰＰＳまたはＣＵレベルに存在するかどうかを示すためにＰＰＳで追加シンタックスエレメントがパーシングされることができる。多数のフレームは一般的に１個のＰＰＳを参照するため、ＰＰＳで制御情報をパーシングすることは、ＣＵでエレメントがシグナリングされる場合と比較してより柔軟性（ｆｌｅｘｉｂｉｌｉｔｙ）が落ちることができる。一方、ＰＰＳレベルでのシグナリングは、シグナリングオーバーヘッドを減らすことができる。

【0184】

具体的な例として、図８を参照すると、デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報（例：ＭＤＭＶＲイネイブルフラグまたはインデックス情報）を取得し、前記情報に基づいてＤＭＶＲが使われるかまたはＭＤＭＶＲが使われるかを決定することができる（Ｓ８００）。前記ＭＤＭＶＲの使用可否に関連した情報は、ＭＤＭＶＲがイネイブルするかどうかを示す情報であり、上位レベル（例：ＳＰＳ）シンタックスでシグナリングされることができる。

【0185】

例えば、デコーディング装置は、ＭＤＭＶＲの使用可否に関連したフラグ情報を取得し、前記フラグ情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記フラグ情報の値が１である場合、ＭＤＭＶＲが使われることと決定できる。

【0186】

または、例えば、デコーディング装置は、ＭＤＭＶＲの使用可否に関連したインデックス情報を取得し、前記インデックス情報の値に基づいてＤＭＶＲまたはＭＤＭＶＲの使用を決定することができる。例えば、前記インデックス情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記インデックス情報の値が１である場合、ＭＤＭＶＲが使われることと決定できる。または、前述したように、前記インデックス情報の値が０である場合、ＤＭＶＲが使われることと決定し、前記インデックス情報の値が１である場合、単一レイヤＤＭＶＲが使われることと決定し、前記インデックス情報の値が２である場合、多重レイヤＤＭＶＲ（すなわち、ＭＤＭＶＲ）が使われることと決定できる。

【0187】

デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報に基づいてＤＭＶＲが使われることと決定した場合、ＤＭＶＲを実行することができる（Ｓ８１０）。

【0188】

このとき、デコーディング装置は、ＰＵレベルでシグナリングされるＤＭＶＲ関連情報を取得し、ＤＭＶＲを実行することができる。

【0189】

デコーディング装置は、ＭＤＭＶＲの使用可否に関連した情報に基づいてＭＤＭＶＲが使われることと決定した場合、追加制御情報を取得することができる（Ｓ８２０）。

【0190】

前記追加制御情報は、下位レベル（例：ＰＰＳ）でのＭＤＭＶＲ関連制御情報であり、例えば、ＭＤＭＶＲ関連シンタックスエレメントがＰＰＳシンタックスに存在するかどうかを示すことができる。例えば、前記追加制御情報の値が０である場合、前記追加制御情報（例：ＭＤＭＶＲ関連シンタックスエレメント）がＰＰＳシンタックスに存在しないことを示し、前記追加制御情報の値が１である場合、前記追加制御情報（例：ＭＤＭＶＲ関連シンタックスエレメント）がＰＰＳシンタックスに存在することを示すことができる。

【0191】

デコーディング装置は、前記追加制御情報の値が０である場合、ＰＰＳシンタックスに前記ＭＤＭＶＲ関連追加制御情報が存在しないことを把握することができ、ＣＵでのＭＤＭＶＲ関連情報を取得することができる（Ｓ８３０）。

【0192】

前記ＣＵでのＭＤＭＶＲ関連情報は、ＭＤＭＶＲ関連シンタックスエレメントがＣＵシンタックスに存在するかどうかを示すことができる。例えば、前記ＭＤＭＶＲ関連情報の値が１である場合、ＭＤＭＶＲ関連シンタックスエレメントがＣＵシンタックスに存在することを示し、以後ＣＵシンタックスからＭＤＭＶＲ関連シンタックスエレメントがシグナリング／パーシングされることができる。

【0193】

デコーディング装置は、前記追加制御情報の値が１である場合、ＰＰＳシンタックスに前記ＭＤＭＶＲ関連追加制御情報が存在することを把握することができ、ＰＰＳからＭＤＭＶＲ関連追加制御情報（例：ＭＤＭＶＲ関連シンタックスエレメント）を取得することができる（Ｓ８４０）。

【0194】

以後、デコーディング装置は、ＰＰＳまたはＣＵからシグナリングされるＭＤＭＶＲ関連情報に基づいてＭＤＭＶＲを実行することができる。

【0195】

以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な用語／名称（例えば、シンタックス／シンタックス要素の名称など）は例示的に提示されたものであるため、本文書の技術的特徴が以下の図面に使われた具体的な用語／名称に制限されない。

【0196】

図９及び図１０は、本文書の実施例（ら）に係るビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。

【0197】

図９に開示された方法は、図２または図１０に開示されたエンコーディング装置２００により実行されることができる。ここで、図１０に開示されたエンコーディング装置２００は、図２に開示されたエンコーディング装置２００を簡略に示したものである。具体的に、図９のステップＳ９００～Ｓ９２０は、図１０に開示された予測部２２０により実行されることができ、図９のステップＳ９３０は、図１０に開示されたレジデュアル処理部２３０により実行されることができ、図９のステップＳ９４０は、図１０に開示されたエントロピーエンコーディング部２４０により実行されることができる。また、図示されてはいないが、現在ブロックに対するレジデュアルサンプルと予測サンプルとに基づいて前記現在ブロックに対する復元サンプル及び復元ピクチャを生成する過程は、前記エンコーディング装置２００の加算部２５０により実行されることができ、前記現在ブロックに対する予測情報をエンコーディングする過程は、前記エンコーディング装置２００のエントロピーエンコーディング部２４０により実行されることができる。また、図９に開示された方法は、本文書で詳述した実施例を含んで実行されることができる。したがって、図９では前述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。

【0198】

図９を参照すると、エンコーディング装置は、現在ブロックに対して多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）（ＭＤＭＶＲ）の使用可否を決定することができる（Ｓ９００）。

【0199】

ここで、前述したように、多重レイヤＤＭＶＲは、ＭＤＭＶＲと指称されることができ、多重パスＤＭＶＲ、多重レベルＤＭＶＲ、または多重ステップＤＭＶＲなどと混用または代替されて使われることもできる。

【0200】

すなわち、エンコーディング装置は、現在ブロックに対する最終リファインされた動きベクトルを導出するために多重レイヤ（または、多重パス、多重レベル、多重ステップ等）を使用してＤＭＶＲを適用するかどうかを決定することができる。

【0201】

このとき、エンコーディング装置は、前述した実施例によって現在ブロックに対してＭＤＭＶＲを使用するかどうかを決定することができる。

【0202】

一実施例として、ＭＤＭＶＲの使用可否は、多数のパラメータセットでシグナリングされる情報に基づいて決定されることができる。一例として、ＭＤＭＶＲの使用可否を示すことに関連した第１のフラグ情報に基づいてＭＤＭＶＲの使用可否が決定されることができる。第１のフラグ情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）でシグナリングされることができる。この場合、ＭＤＭＶＲの使用可否は、全体シーケンスに対して決められることができ、また、シーケンスレベルで追加制御情報をシグナリングし、下位レベル（例：ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）／ＳＨ（Ｓｌｉｃｅ ｈｅａｄｅｒ）／ＣＵ（Ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他の適切なヘッダ）でＭＤＭＶＲの適用可否を決定することができる。一例として、ＳＰＳでシグナリングされた前記第１のフラグ情報に基づいて（すなわち、ＭＤＭＶＲが使われることと関連した第１のフラグ情報に基づいて）、例えば、第１のフラグ情報の値が１である場合、ＭＤＭＶＲの制御に関連した第２のフラグ情報がシグナリングされることができる。第２のフラグ情報は、下位レベルでＭＤＭＶＲの使用可否を制御するための情報であり、ＰＰＳ、ＰＨ、ＳＨ、ＣＵまたは他の適切なヘッダでＭＤＭＶＲに関連したシンタックスエレメントが存在するかどうかに関連した情報である。

【0203】

具体的な例として、図７及び図８を参照して説明したように、ＳＰＳレベルでのＭＤＭＶＲが使われるかどうかに関連した第１のフラグ情報に基づいて（例：第１のフラグ情報の値が１である場合）、ＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連した第２のフラグ情報がシグナリングされることができる。このとき、第２のフラグ情報がＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連したシンタックスエレメントが存在することを示す場合、ＰＰＳ／ＰＨからＭＤＭＶＲ制御に関連したシンタックスエレメントがさらにシグナリングされることができる。または、第２のフラグ情報がＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連したシンタックスエレメントが存在しないことを示す場合、下位レベル（例：ＣＵ、ＳＨ）でＭＤＭＶＲに関連したシンタックスエレメントがシグナリングされることができる。

【0204】

また、一例として、前述のような上位レベル（例：ＳＰＳ）でシグナリングされる第１のフラグ情報は、固定長さコーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）により二進化されることができる。また、第１のフラグ及び／又は第２のフラグに基づいてＭＤＭＶＲに関連したシンタックスエレメントがＰＰＳ、ＰＨ、ＳＨ、ＣＵのような下位レベルでシグナリングされる場合、前記ＭＤＭＶＲに関連したシンタックスエレメントは、コンテキストコーディング（ｃｏｎｔｅｘｔ ｃｏｄｉｎｇ）に基づいて導出（すなわち、パーシング）されることができる。例えば、前記ＭＤＭＶＲに関連したシンタックスエレメントは、ＭＤＭＶＲ実行のために必要な細部情報を含むことができ、例えば、レイヤの数、ＭＤＭＶＲ適用のグラニュラリティ（ｇｒａｎｕｌａｒｉｔｙ）、早期終了が明示的に使われるかどうか等を含むことができる。また、前記ＭＤＭＶＲに関連したシンタックスエレメントのコンテキストコーディングを実行するにあたって、コンテキストモデルの数、初期化値が決定されることができ、このとき、ブロック統計の関連側面を考慮して決定されることができる。

【0205】

また、一実施例として、現在ブロックが少なくとも一つのＰＵ（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）を含むＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）であり、この場合、少なくとも一つのＰＵに対してＭＤＭＶＲのレイヤ数が決定されることができる。例えば、現在ブロック内の第１のＰＵに対しては２個のレイヤを使用してＭＤＭＶＲを適用することができ、現在ブロック内の第２のＰＵに対しては３個のレイヤを使用してＭＤＭＶＲを適用することができる。または、各ＣＵ毎にＭＤＭＶＲのレイヤ数が決定されることもできる。この場合、ＣＵ内の全てのＰＵは、同じレイヤ数を有することができる。

【0206】

また、一実施例として、ＭＤＭＶＲの使用可否は、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）情報に基づいて決定されることができる。例えば、ＭＶＤがあらかじめ決定された閾値を超えるかどうかに基づいて、まず、ＤＭＶＲの使用可否を決定することができる。一例として、ＭＶＤがあらかじめ決定された閾値を超えると、ＤＭＶＲを適用しないことと決定できる。このとき、閾値は、１／４画素（ｐｅｌ）、１／２画素（ｐｅｌ）、１画素（ｐｅｌ）、４画素（ｐｅｌ）及び／又はその他の適切なＭＶＤ単位で選択されることができる。または、特定ブロック大きさに対して、前記閾値を満たすことができない場合、ＤＭＶＲを適用しない。または、例えば、前記閾値に基づいてＤＭＶＲに単一レイヤ、または多重レイヤを適用すべきかどうかを決定することができる。例えば、ＭＶＤが特定閾値の範囲内にある場合、８ｘ８レベルでない１６ｘ１６レベルでＤＭＶＲを実行することができる。言い換えると、ＭＶＤがあらかじめ決定された閾値を超えるかどうかに基づいてＭＤＭＶＲが現在ブロックに適用されるかどうかを決定することができる。一例として、ＭＶＤがあらかじめ決定された閾値を超えると、ＭＤＭＶＲを適用しないことと決定できる。また、前記ＭＶＤ情報があらかじめ決定された閾値範囲内にあるかに基づいてＭＤＭＶＲのレイヤ数が決定されることもできる。

【0207】

また、一実施例として、現在ブロックにＭＤＭＶＲが使われることに基づいて（すなわち、現在ブロックにＭＤＭＶＲが実行される場合）、ＭＤＭＶＲの各レイヤに対して探索パターン及び探索領域の大きさを決定することができる。

【0208】

例えば、各レイヤは、同じ探索パターンを有することもでき、異なる探索パターンを有することもできる。また、例えば、探索パターンは、正方形、ダイアモンド型、十字型、長方形及び／又はブロックの基本的な動きをキャプチャするための他の適切な形状を含むことができる。このとき、探索パターンは、ｘ方向の動きベクトル及びｙ方向の動きベクトルに基づいて決定され、または垂直動き及び水平動きに基づいて決定されることができる。一例として、ｘ方向の動きベクトルがｙ方向の動きベクトルより大きい場合、長方形探索パターンがブロックの基本的な動きをキャプチャするときにさらに適合できる。または、一例として、垂直動きがより多くのブロックに対してダイアモンド型／十字型探索パターンがさらに適合できる。

【0209】

また、例えば、探索領域の大きさは、ブロック大きさに基づいて決定されることができる。一例として、大きいブロックが使われる場合、７ｘ７／８ｘ８、またはそれ以上、または他の適切な正方形／ダイアモンド型探索パターンを使用することができる。または、一例として、小さいブロックが使われる場合、探索領域は、５ｘ５より小さい大きさを有することができる。または、一例として、探索領域の大きさは、基本的な動き情報、利用可能な隣接ブロックの動き特性に基づいて決定されることができ、例えば、ブロックＭＶＤがあらかじめ決定された閾値Ｔより大きい場合、７ｘ７探索領域が使われることができる。

【0210】

また、例えば、探索ポイントは、探索パターンに基づいて決定されることができる。一例として、初期に探索ポイントと相関関係がある場合、より大きい大きさの探索パターンを使用することができる。以後、より小さい大きさの探索パターン及びより少ない数の探索ポイントが考慮されると、レイヤで探索領域を減らすことができる。

【0211】

また、例えば、初期探索パターンの正確度は整数をベースに決められ、追加レイヤ正確度は１／２－画素（ｐｅｌ）または１／４－画素（ｐｅｌ）で決められることができる。

【0212】

また、一実施例として、リファインされた動きベクトルは、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）またはＭＲ－ＳＡＤ（Ｍｅａｎ Ｒｅｍｏｖｅｄ－Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づいて導出されることができる。言い換えると、ＭＤＭＶＲの適用により導出されるリファインされた動きベクトルは、ＳＡＤまたはＭＲ－ＳＡＤに基づいて歪曲を測定し、これに基づいて最終リファインされた動きベクトルが導出されることができる。また、リファインされた動きベクトルを導出するにあたって、Ｌ０ノルム（ｎｏｒｍ）またはユークリッドノルム（Ｅｕｃｌｉｄｅａｎ Ｎｏｒｍ）（Ｌ２）などを使用することもできる。

【0213】

また、一実施例として、リファインされた動きベクトルは、加重値を適用した最小歪曲費用に基づいて導出されることができる。ここで、最小歪曲費用は、特定探索地点の歪曲が他の探索地点より優先する場合に基づいて加重値を適用して計算されることができる。一例として、初期探索地点が探索範囲内の他の地点より優先すべき場合、初期エラー／歪曲メトリック（ｅｒｒｏｒ／ｄｉｓｔｏｒｔｉｏｎ ｍｅｔｒｉｃ）に対する加重値を適用して初期値（ら）に対する最小歪曲費用を計算することができる。または、一例として、隣接ブロックの利用可能な動き情報を考慮して加重値を決定することで最小歪曲費用を計算することができる。

【0214】

また、一実施例として、現在ブロックにＭＤＭＶＲが使われることに基づいて、ＭＤＭＶＲの各レイヤに対して終了条件を満たすかどうかを決定してＭＤＭＶＲを実行することができる。前記終了条件は、初期動きベクトルとリファインされた動きベクトルとの間の距離、サンプルベースの差、またはＳＡＤベースの差が閾値より小さいかどうかに基づいて各レイヤに対するＭＤＭＶＲ終了を決定することができる。一例として、初期開始ＭＶと繰り返し間の地点でのＭＶ（すなわち、リファインされたＭＶ）との間の距離が閾値Ｔより小さい場合、終了条件を満たすと判断してＭＤＭＶＲを終了することができる。また、前記終了条件を満たすかどうかを決定するにあたって、ＭＤＭＶＲのレイヤ間に確認することができる。一例として、ＭＤＭＶＲの１番目のレイヤ以後に終了条件を満たすと判断した場合、以後残りのレイヤに対してはＭＤＭＶＲを実行せずに早期終了されることができる。

【0215】

また、一実施例として、処理を待つ間に参照サンプルをあらかじめフェッチして（ｐｒｅ－ｆｅｔｃｈ）メモリに格納することができる。例えば、サンプルをあらかじめフェッチした（ｐｒｅ－ｆｅｔｃｈ）場合、サンプルは参照サンプルパディングされることができる。

【0216】

エンコーディング装置は、現在ブロックにＭＤＭＶＲが使われることに基づいて、現在ブロックに対するリファインされた動きベクトルを導出することができる（Ｓ９１０）。

【0217】

すなわち、前述のような実施例（ら）によって現在ブロックにＭＤＭＶＲが使われるかどうかが決定されることができる。このとき、エンコーディング装置は、ＭＤＭＶＲが使われることと決定されると、現在ブロックに対してＭＤＭＶＲを適用してリファインされた動きベクトルを導出することができる。

【0218】

一実施例として、まず、現在ブロックに対してインター予測を実行する場合、エンコーディング装置は、現在ブロックの動き情報（動きベクトル、参照ピクチャインデックス等）を導出することができる。例えば、エンコーディング装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で現在ブロックと類似したブロックをサーチし、現在ブロックとの差が最小または一定基準以下である参照ブロックを導出することができる。これに基づいて参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、参照ブロックと現在ブロックとの位置差に基づいて動きベクトルを導出することができる。

【0219】

また、エンコーディング装置は、多様な予測モードのうち現在ブロックに対して適用されるインター予測モードを決定することができる。エンコーディング装置は、多様な予測モードに対するＲＤ ｃｏｓｔを比較して現在ブロックに対する最適の予測モードを決定することができる。

【0220】

以後、前述したように、現在ブロックに対してＭＤＭＶＲを適用することに決定された場合、エンコーディング装置は、動きベクトルに対してＭＤＭＶＲを適用して最終的にリファインされた動きベクトルを導出することができる。

【0221】

エンコーディング装置は、リファインされた動きベクトルに基づいて現在ブロックに対する予測サンプルを導出することができ（Ｓ９２０）、前記予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ９３０）。

【0222】

すなわち、エンコーディング装置は、現在ブロックに対する原本サンプルと現在ブロックの予測サンプルとに基づいてレジデュアルサンプルを導出することができる。そして、エンコーディング装置は、レジデュアルサンプルに対する情報を生成することができる。ここで、レジデュアルサンプルに対する情報は、レジデュアルサンプルに変換及び量子化を実行して導出された量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。

【0223】

エンコーディング装置は、映像情報（または、ビデオ情報）をエンコーディングすることができる（Ｓ９４０）。ここで、映像情報は、予測関連情報（例えば、予測モード情報）を含むことができる。また、映像情報は、前記レジデュアル情報を含むことができる。すなわち、映像情報は、エンコーディング過程で導出される多様な情報を含むことができ、このような多様な情報を含んでエンコーディングされることができる。

【0224】

一実施例として、エンコーディング装置は、レジデュアルサンプルに関する情報を含む映像情報をエンコーディングしてビットストリームで生成できる。また、エンコーディング装置は、予測関連情報（例えば、予測モード情報）を含む映像情報をエンコーディングしてビットストリームで生成できる。

【0225】

前述のような多様な情報を含む映像情報は、エンコーディングされてビットストリーム形態で出力されることができる。ビットストリームは、ネットワークまたは（デジタル）格納媒体を介してデコーディング装置に送信されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。

【0226】

図１１及び図１２は、本文書の実施例（ら）に係るビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。

【0227】

図１１に開示された方法は、図３または図１２に開示されたデコーディング装置３００により実行されることができる。ここで、図１２に開示されたデコーディング装置３００は、図３に開示されたデコーディング装置３００を簡略に示したものである。具体的に、図１１のステップＳ１１００は、図１２に開示されたエントロピーデコーディング部３１０及び／又は予測部３３０により実行されることができ、図１１のステップＳ１１１０～Ｓ１１２０は、図１２に開示された予測部３３０により実行されることができ、図１１のステップＳ１１３０は、図１２に開示された加算部３４０により実行されることができる。また、図示されてはいないが、現在ブロックに対する予測情報及び／又はレジデュアル情報を受信する過程は、前記デコーディング装置３００のエントロピーデコーディング部３１０により実行されることができ、レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを導出する過程は、前記デコーディング装置３００のレジデュアル処理部３２０により実行されることができる。また、図１１に開示された方法は、本文書で詳述した実施例を含んで実行されることができる。したがって、図１１では前述した実施例と重複する内容に関して具体的な説明を省略または簡単にする。

【0228】

図１１を参照すると、デコーディング装置は、現在ブロックに対して多重レイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ＤＭＶＲ（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ）（ＭＤＭＶＲ）の使用可否を決定することができる（Ｓ１１００）。

【0229】

ここで、前述したように、多重レイヤＤＭＶＲは、ＭＤＭＶＲと指称されることができ、多重パスＤＭＶＲ、多重レベルＤＭＶＲ、または多重ステップＤＭＶＲなどと混用または代替されて使われることもできる。

【0230】

すなわち、デコーディング装置は、現在ブロックに対する最終リファインされた動きベクトルを導出するために多重レイヤ（または、多重パス、多重レベル、多重ステップ等）を使用してＤＭＶＲを適用するかどうかを決定することができる。

【0231】

このとき、デコーディング装置は、前述した実施例によって現在ブロックに対してＭＤＭＶＲを使用するかどうかを決定することができる。

【0232】

一実施例として、ＭＤＭＶＲの使用可否は、多数のパラメータセットでシグナリングされる情報に基づいて決定されることができる。一例として、ＭＤＭＶＲの使用可否を示すことに関連した第１のフラグ情報に基づいてＭＤＭＶＲの使用可否が決定されることができる。第１のフラグ情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）でシグナリングされることができる。この場合、ＭＤＭＶＲの使用可否は、全体シーケンスに対して決められることができ、また、シーケンスレベルで追加制御情報をシグナリングし、下位レベル（例：ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）／ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）／ＳＨ（Ｓｌｉｃｅ ｈｅａｄｅｒ）／ＣＵ（Ｃｏｄｉｎｇ ｕｎｉｔ）及び／又は他の適切なヘッダ）でＭＤＭＶＲの適用可否を決定することができる。一例として、ＳＰＳでシグナリングされた前記第１のフラグ情報に基づいて（すなわち、ＭＤＭＶＲが使われることと関連した第１のフラグ情報に基づいて）、例えば、第１のフラグ情報の値が１である場合、ＭＤＭＶＲの制御に関連した第２のフラグ情報がシグナリングされることができる。第２のフラグ情報は、下位レベルでＭＤＭＶＲの使用可否を制御するための情報であり、ＰＰＳ、ＰＨ、ＳＨ、ＣＵまたは他の適切なヘッダでＭＤＭＶＲに関連したシンタックスエレメントが存在するかどうかに関連した情報である。

【0233】

具体的な例として、図７及び図８を参照して説明したように、ＳＰＳレベルでのＭＤＭＶＲが使われるかどうかに関連した第１のフラグ情報に基づいて（例：第１のフラグ情報の値が１である場合）、ＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連した第２のフラグ情報がシグナリングされることができる。このとき、第２のフラグ情報がＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連したシンタックスエレメントが存在することを示す場合、ＰＰＳ／ＰＨからＭＤＭＶＲ制御に関連したシンタックスエレメントがさらにシグナリングされることができる。または、第２のフラグ情報がＰＰＳ／ＰＨでのＭＤＭＶＲ制御に関連したシンタックスエレメントが存在しないことを示す場合、下位レベル（例：ＣＵ、ＳＨ）でＭＤＭＶＲに関連したシンタックスエレメントがシグナリングされることができる。

【0234】

また、一例として、前述のような上位レベル（例：ＳＰＳ）でシグナリングされる第１のフラグ情報は、固定長さコーディング（ｆｉｘｅｄ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）により二進化されることができる。また、第１のフラグ及び／又は第２のフラグに基づいてＭＤＭＶＲに関連したシンタックスエレメントがＰＰＳ、ＰＨ、ＳＨ、ＣＵのような下位レベルでシグナリングされる場合、前記ＭＤＭＶＲに関連したシンタックスエレメントは、コンテキストコーディング（ｃｏｎｔｅｘｔ ｃｏｄｉｎｇ）に基づいて導出（すなわち、パーシング）されることができる。例えば、前記ＭＤＭＶＲに関連したシンタックスエレメントは、ＭＤＭＶＲ実行のために必要な細部情報を含むことができ、例えば、レイヤの数、ＭＤＭＶＲ適用のグラニュラリティ（ｇｒａｎｕｌａｒｉｔｙ）、早期終了が明示的に使われるかどうか等を含むことができる。また、前記ＭＤＭＶＲに関連したシンタックスエレメントのコンテキストコーディングを実行するにあたって、コンテキストモデルの数、初期化値が決定されることができ、このとき、ブロック統計の関連側面を考慮して決定されることができる。

【0235】

また、一実施例として、現在ブロックが少なくとも一つのＰＵ（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）を含むＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）であり、この場合、少なくとも一つのＰＵに対してＭＤＭＶＲのレイヤ数が決定されることができる。例えば、現在ブロック内の第１のＰＵに対しては２個のレイヤを使用してＭＤＭＶＲを適用することができ、現在ブロック内の第２のＰＵに対しては３個のレイヤを使用してＭＤＭＶＲを適用することができる。または、各ＣＵ毎にＭＤＭＶＲのレイヤ数が決定されることもできる。この場合、ＣＵ内の全てのＰＵは、同じレイヤ数を有することができる。

【0236】

また、一実施例として、ＭＤＭＶＲの使用可否は、ＭＶＤ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）情報に基づいて決定されることができる。例えば、ＭＶＤがあらかじめ決定された閾値を超えるかどうかに基づいて、まず、ＤＭＶＲの使用可否を決定することができる。一例として、ＭＶＤがあらかじめ決定された閾値を超えると、ＤＭＶＲを適用しないことと決定できる。このとき、閾値は、１／４画素（ｐｅｌ）、１／２画素（ｐｅｌ）、１画素（ｐｅｌ）、４画素（ｐｅｌ）及び／又はその他の適切なＭＶＤ単位で選択されることができる。または、特定ブロック大きさに対して、前記閾値を満たすことができない場合、ＤＭＶＲを適用しない。または、例えば、前記閾値に基づいてＤＭＶＲに単一レイヤ、または多重レイヤを適用すべきかどうかを決定することができる。例えば、ＭＶＤが特定閾値の範囲内にある場合、８ｘ８レベルでない１６ｘ１６レベルでＤＭＶＲを実行することができる。言い換えると、ＭＶＤがあらかじめ決定された閾値を超えるかどうかに基づいてＭＤＭＶＲが現在ブロックに適用されるかどうかを決定することができる。一例として、ＭＶＤがあらかじめ決定された閾値を超えると、ＭＤＭＶＲを適用しないことと決定できる。また、前記ＭＶＤ情報があらかじめ決定された閾値範囲内にあるかに基づいてＭＤＭＶＲのレイヤ数が決定されることもできる。

【0237】

また、一実施例として、現在ブロックにＭＤＭＶＲが使われることに基づいて（すなわち、現在ブロックにＭＤＭＶＲが実行される場合）、ＭＤＭＶＲの各レイヤに対して探索パターン及び探索領域の大きさを決定することができる。

【0238】

例えば、各レイヤは、同じ探索パターンを有することもでき、異なる探索パターンを有することもできる。また、例えば、探索パターンは、正方形、ダイアモンド型、十字型、長方形及び／又はブロックの基本的な動きをキャプチャするための他の適切な形状を含むことができる。このとき、探索パターンは、ｘ方向の動きベクトル及びｙ方向の動きベクトルに基づいて決定され、または垂直動き及び水平動きに基づいて決定されることができる。一例として、ｘ方向の動きベクトルがｙ方向の動きベクトルより大きい場合、長方形探索パターンがブロックの基本的な動きをキャプチャするときにさらに適合できる。または、一例として、垂直動きがより多くのブロックに対してダイアモンド型／十字型探索パターンがさらに適合できる。

【0239】

また、例えば、探索領域の大きさは、ブロック大きさに基づいて決定されることができる。一例として、大きいブロックが使われる場合、７ｘ７／８ｘ８、またはそれ以上、または他の適切な正方形／ダイアモンド型探索パターンを使用することができる。または、一例として、小さいブロックが使われる場合、探索領域は、５ｘ５より小さい大きさを有することができる。または、一例として、探索領域の大きさは、基本的な動き情報、利用可能な隣接ブロックの動き特性に基づいて決定されることができ、例えば、ブロックＭＶＤがあらかじめ決定された閾値Ｔより大きい場合、７ｘ７探索領域が使われることができる。

【0240】

また、例えば、探索ポイントは、探索パターンに基づいて決定されることができる。一例として、初期に探索ポイントと相関関係がある場合、より大きい大きさの探索パターンを使用することができる。以後、より小さい大きさの探索パターン及びより少ない数の探索ポイントが考慮されると、レイヤで探索領域を減らすことができる。

【0241】

また、例えば、初期探索パターンの正確度は、整数をベースに決められ、追加レイヤ正確度は１／２－画素（ｐｅｌ）または１／４－画素（ｐｅｌ）で決められることができる。

【0242】

また、一実施例として、リファインされた動きベクトルは、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）またはＭＲ－ＳＡＤ（Ｍｅａｎ Ｒｅｍｏｖｅｄ－Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）に基づいて導出されることができる。言い換えると、ＭＤＭＶＲの適用により導出されるリファインされた動きベクトルは、ＳＡＤまたはＭＲ－ＳＡＤに基づいて歪曲を測定し、これに基づいて最終リファインされた動きベクトルが導出されることができる。また、リファインされた動きベクトルを導出するにあたって、Ｌ０ノルム（ｎｏｒｍ）またはユークリッドノルム（Ｅｕｃｌｉｄｅａｎ Ｎｏｒｍ）（Ｌ２）などを使用することもできる。

【0243】

また、一実施例として、リファインされた動きベクトルは、加重値を適用した最小歪曲費用に基づいて導出されることができる。ここで、最小歪曲費用は、特定探索地点の歪曲が他の探索地点より優先する場合に基づいて加重値を適用して計算されることができる。一例として、初期探索地点が探索範囲内の他の地点より優先すべき場合、初期エラー／歪曲メトリック（ｅｒｒｏｒ／ｄｉｓｔｏｒｔｉｏｎ ｍｅｔｒｉｃ）に対する加重値を適用して初期値（ら）に対する最小歪曲費用を計算することができる。または、一例として、隣接ブロックの利用可能な動き情報を考慮して加重値を決定することで最小歪曲費用を計算することができる。

【0244】

また、一実施例として、現在ブロックにＭＤＭＶＲが使われることに基づいて、ＭＤＭＶＲの各レイヤに対して終了条件を満たすかどうかを決定してＭＤＭＶＲを実行することができる。前記終了条件は、初期動きベクトルとリファインされた動きベクトルとの間の距離、サンプルベースの差、またはＳＡＤベースの差が閾値より小さいかどうかに基づいて各レイヤに対するＭＤＭＶＲ終了を決定することができる。一例として、初期開始ＭＶと繰り返し間の地点でのＭＶ（すなわち、リファインされたＭＶ）との間の距離が閾値Ｔより小さい場合、終了条件を満たすと判断してＭＤＭＶＲを終了することができる。また、前記終了条件を満たすかどうかを決定するにあたって、ＭＤＭＶＲのレイヤ間に確認することができる。一例として、ＭＤＭＶＲの１番目のレイヤ以後に終了条件を満たすと判断した場合、以後余りレイヤに対してはＭＤＭＶＲを実行せずに早期終了されることができる。

【0245】

また、一実施例として、処理を待つ間に参照サンプルをあらかじめフェッチして（ｐｒｅ－ｆｅｔｃｈ）メモリに格納することができる。例えば、サンプルをあらかじめフェッチした（ｐｒｅ－ｆｅｔｃｈ）場合、サンプルは参照サンプルパディングされることができる。

【0246】

デコーディング装置は、現在ブロックにＭＤＭＶＲが使われることに基づいて、現在ブロックに対するリファインされた動きベクトルを導出することができる（Ｓ１１１０）。

【0247】

すなわち、前述のような実施例（ら）によって現在ブロックにＭＤＭＶＲが使われるかどうかが決定されることができる。このとき、デコーディング装置は、ＭＤＭＶＲが使われることと決定されると、現在ブロックに対してＭＤＭＶＲを適用してリファインされた動きベクトルを導出することができる。

【0248】

一実施例として、まず、デコーディング装置は、ビットストリームから予測関連情報を含む映像情報を取得し、前記予測関連情報に基づいて現在ブロックに対する予測モードを決定することができる。そして、デコーディング装置は、予測モードに基づいて現在ブロックの動き情報（動きベクトル、参照ピクチャインデックス等）を導出することができる。ここで、予測モードは、スキップモード、マージモード、（Ａ）ＭＶＰモードなどを含むことができる。

【0249】

以後、前述したように、現在ブロックに対してＭＤＭＶＲを適用することに決定された場合、デコーディング装置は、動きベクトルに対してＭＤＭＶＲを適用して最終的にリファインされた動きベクトルを導出することができる。

【0250】

デコーディング装置は、リファインされた動きベクトルに基づいて現在ブロックに対する予測サンプルを導出することができ（Ｓ１１２０）、前記予測サンプルに基づいて現在ブロックに対する復元サンプルを生成することができる（Ｓ１１３０）。

【0251】

一実施例として、デコーディング装置は、予測モードによって予測サンプルを直ちに復元サンプルとして利用することもでき、または前記予測サンプルにレジデュアルサンプルを加えて復元サンプルを生成することもできる。

【0252】

デコーディング装置は、現在ブロックに対するレジデュアルサンプルが存在する場合、現在ブロックに対するレジデュアルに関する情報を受信することができる。レジデュアルに関する情報は、レジデュアルサンプルに関する変換係数を含むことができる。デコーディング装置は、レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプル（または、レジデュアルサンプルアレイ）を導出することができる。具体的に、デコーディング装置は、レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。デコーディング装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコーディング装置は、変換係数に基づいてレジデュアルサンプルを導出することができる。

【0253】

デコーディング装置は、予測サンプルとレジデュアルサンプルとに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロックまたは復元ピクチャを導出することができる。具体的に、デコーディング装置は、予測サンプルとレジデュアルサンプルとの間の和に基づいて復元サンプルを生成することができる。以後、デコーディング装置は、必要によって主観的／客観的画質を向上させるためにデブロッキングフィルタリング及び／又はＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、前述した通りである。

【0254】

前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書の実施例は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

【0255】

前述した本文書による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／又はデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。

【0256】

本文書において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。すなわち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。この場合、具現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。

【0257】

また、本文書の実施例（ら）が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0258】

また、本文書の実施例（ら）が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書の実施例（ら）に係るデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読みだすことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。

【0259】

また、本文書の実施例（ら）は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例（ら）によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

【0260】

図１３は、本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。

【0261】

図１３を参照すると、本文書の実施例が適用されるコンテンツストリーミングシステムは、大まかに、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0262】

前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。

【0263】

前記ビットストリームは、本文書の実施形態が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0264】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間命令／応答を制御する役割をする。

【0265】

前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

【0266】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。

【0267】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは分散処理されることができる。

【0268】

本文書に記載された請求項は、多様な方式で組み合わせられることができる。例えば、本文書の方法請求項の技術的特徴が組み合わせられて装置で具現されることもでき、本文書の装置請求項の技術的特徴が組み合わせられて方法で具現されることもできる。また、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置で具現されることもでき、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法で具現されることもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】