特許 7536876 ピクチャヘッダを含む映像情報をコーディングする映像デコーディング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】ピクチャヘッダを含む映像情報をコーディングする映像デコーディング方法及びその装置

(51)【国際特許分類】

   H04N 19/46 20140101AFI20240813BHJP

   H04N 19/169 20140101ALI20240813BHJP

   H04N 19/172 20140101ALI20240813BHJP

   H04N 19/174 20140101ALI20240813BHJP

【ＦＩ】

H04N19/46

H04N19/169 200

H04N19/172

H04N19/174

【請求項の数】 9

(21)【出願番号】P 2022540948

(86)(22)【出願日】2020-12-29

(65)【公表番号】

(43)【公表日】2023-03-09

(86)【国際出願番号】 KR2020019319

(87)【国際公開番号】W WO2021137588

(87)【国際公開日】2021-07-08

【審査請求日】2022-08-23

(31)【優先権主張番号】62/956,634

(32)【優先日】2020-01-02

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100108903

【弁理士】

【氏名又は名称】中村 和広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

【審査官】久保 光宏

(56)【参考文献】

【文献】Rickard Sjoberg, et al.，"AHG9: Picture header enabled flag"，Document: JVET-Q0426-v1, [online]，JVET-Q0426 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年12月31日，Pages 1-15，[令和5年7月12日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9251> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0426-v1.zip>.，(See document file "JVET-Q0426-v1.docx" in the zip file "JVET-Q0426-v1.zip".)

【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 7)"，Document: JVET-P2001-vE, [online]，JVET-P2001 (version 14)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年11月14日，Pages 4,49, and 86-88，[令和5年7月8日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8857> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zip>.，(See document file "JVET-P2001-vE.docx" in the zip file "JVET-P2001-v14.zip".)

【文献】Ling Li, et al.，"AHG 9: On picture header"，Document: JVET-Q0419-v1, [online]，JVET-Q0419 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年01月01日，Pages 1-5，[令和5年7月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9244> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0419-v1.zip>.，(See document file "JVET-Q0419-v1.docx" in the zip file "JVET-Q0419-v1.zip".)

【文献】Jaehong Jung, et al.，"AHG9: On slice level control of LMCS and explicit scaling list"，Document: JVET-R0089-v1, [online]，JVET-R0089 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年04月03日，Pages 1-5，[令和5年7月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9733> and <URL: https://jvet-experts.org/doc_end_user/documents/18_Alpbach/wg11/JVET-R0089-v1.zip>.，(See document file "JVET-R0089-v1.docx" in the zip file "JVET-R0089-v1.zip".)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

デコーディング装置により実行される映像デコーディングの方法において、
ＰＨ（Picture Header） ＮＡＬ（Network Abstraction Layer）ユニットが存在するかどうかに対するフラグを取得するステップと、
前記フラグが前記ＰＨ ＮＡＬユニットが存在することを示すことに基づいて、前記ＰＨ ＮＡＬユニットから現在ピクチャに対するＰＨを取得するステップと、
前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記現在ピクチャに対するスライスヘッダから前記現在ピクチャに対する前記ＰＨを取得するステップと、
前記ＰＨに基づいて前記現在ピクチャをデコーディングするステップと、を含み、
前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記現在ピクチャは、一つのスライスのみを含む、方法。

【請求項2】

前記フラグが前記ＰＨ ＮＡＬユニットが存在することを示すことに基づいて、前記現在ピクチャに対する前記ＰＨ ＮＡＬユニット、及び前記スライスヘッダを含む少なくとも一つのＶＣＬ（Video Coding Layer） ＮＡＬユニットは、ビットストリームを介して取得される、請求項１に記載の方法。

【請求項3】

前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、ＰＨ ＮＡＬユニットは、前記現在ピクチャを含むＣＬＶＳ（Coded Layer Video Sequence）内の全てのピクチャに対して存在しない、請求項１に記載の方法。

【請求項4】

前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記ＣＬＶＳ内の全ての前記ピクチャに対するピクチャヘッダは、全ての前記ピクチャのスライスヘッダに含まれる、請求項３に記載の方法。

【請求項5】

エンコーディング装置により実行される映像エンコーディングの方法において、
現在ピクチャと関連したＰＨ（Picture Header）を含むＰＨ ＮＡＬ（Network Abstraction Layer）ユニットが存在するかどうかを判断するステップと、
前記ＰＨ ＮＡＬユニットが存在するという前記判断に基づいて、前記ＰＨを含む前記ＰＨ ＮＡＬユニットを生成するステップと、
前記ＰＨ ＮＡＬユニットが存在しないという前記判断に基づいて、前記ＰＨを含む前記現在ピクチャに対するスライスヘッダを生成するステップと、
前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグを生成するステップと、
前記フラグを含む映像情報をエンコーディングするステップと、を含み、
前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記現在ピクチャは、一つのスライスのみを含む、方法。

【請求項6】

前記フラグが前記ＰＨ ＮＡＬユニットが存在することを示すことに基づいて、前記映像情報は、前記ＰＨ ＮＡＬユニット、及び前記現在ピクチャと関連した前記スライスヘッダを含む少なくとも一つのＶＣＬ（Video Coding Layer） ＮＡＬユニットを含む、請求項５に記載の方法。

【請求項7】

前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、ＰＨ ＮＡＬユニットは、前記現在ピクチャを含むＣＬＶＳ（Coded Layer Video Sequence）内の全てのピクチャに対して存在しない、請求項５に記載の方法。

【請求項8】

前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記ＣＬＶＳ内の全ての前記ピクチャに対するピクチャヘッダは、全ての前記ピクチャのスライスヘッダに含まれる、請求項７に記載の方法。

【請求項9】

映像に対するデータの送信方法であって、
映像情報のビットストリームを、
現在ピクチャと関連したＰＨ（Picture Header）を含むＰＨ ＮＡＬ（Network Abstraction Layer）ユニットが存在するかどうかを判断するステップと、
前記ＰＨ ＮＡＬユニットが存在するという前記判断に基づいて、前記ＰＨを含む前記ＰＨ ＮＡＬユニットを生成するステップと、
前記ＰＨ ＮＡＬユニットが存在しないという前記判断に基づいて、前記ＰＨを含む前記現在ピクチャに対するスライスヘッダを生成するステップと、
前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグを生成するステップと、
前記フラグを含む前記映像情報をエンコーディングするステップと、
に基づいて生成するステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記フラグが前記ＰＨ ＮＡＬユニットが存在しないことを示すことに基づいて、前記現在ピクチャは、一つのスライスのみを含む、送信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本文書は、映像コーディング技術に関し、より詳しくは、映像コーディングシステムにおいて、ＰＨ ＮＡＬユニットを適応的にコーディングする映像デコーディング方法及びその装置に関する。

【背景技術】

【0002】

最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像のような高解像度、高品質の画像に対する需要が様々な分野で増加している。画像データが高解像度、高品質になるほど、既存の画像データに比べて相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を利用して画像データを送信し、または既存の記録媒体を利用して画像データを格納する場合、送信費用と格納費用が増加される。

【0003】

それによって、高解像度、高品質画像の情報を効果的に送信または格納し、再生するために、高効率の画像圧縮技術が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本文書の技術的課題は、画像コーディング効率を上げる方法及び装置を提供することにある。

【0005】

本文書の他の技術的課題は、ＰＨ ＮＡＬユニットの存在有無に対するフラグをコーディングする方法及び装置を提供することにある。

【課題を解決するための手段】

【0006】

本文書の一実施例によると、デコーディング装置により実行される映像デコーディング方法が提供される。前記方法は、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの存在有無に対するフラグを取得するステップ、前記フラグに基づいてＰＨを取得するステップ、及び前記ＰＨに基づいて前記ＰＨと関連した現在ピクチャをデコーディングするステップを含むことを特徴とする。

【0007】

本文書の他の一実施例によると、映像デコーディングを実行するデコーディング装置が提供される。前記デコーディング装置は、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの存在有無に対するフラグを取得し、前記フラグに基づいてＰＨを取得するエントロピーデコーディング部及び前記ＰＨに基づいて前記ＰＨと関連した現在ピクチャをデコーディングする予測部を含むことを特徴とする。

【0008】

本文書の他の一実施例によると、エンコーディング装置により実行されるビデオエンコーディング方法を提供する。前記方法は、現在ピクチャと関連したＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）を含むＰＨ ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットが存在するかどうかを判断するステップ、前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットの存在有無に対するフラグを生成するステップ、及び前記フラグを含む映像情報をエンコーディングするステップを含むことを特徴とする。

【0009】

本文書の他の一実施例によると、ビデオエンコーディング装置を提供する。前記エンコーディング装置は、現在ピクチャと関連したＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）を含むＰＨ ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットが存在するかどうかを判断し、前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットの存在有無に対するフラグを生成し、前記フラグを含む映像情報をエンコーディングするエントロピーエンコーディング部を含むことを特徴とする。

【0010】

本文書の他の一実施例によると、映像デコーディング方法を実行するようにする映像情報を含むビットストリームが格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。コンピュータ読み取り可能なデジタル格納媒体において、前記映像デコーディング方法は、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの存在有無に対するフラグを取得するステップ、前記フラグに基づいてＰＨを取得するステップ、及び前記ＰＨに基づいて前記ＰＨと関連した現在ピクチャをデコーディングするステップを含むことを特徴とする。

【発明の効果】

【0011】

本文書によると、ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグをシグナリングすることができ、前記フラグに基づいてビットストリームのビットレートに適応的にＮＡＬユニットを調節することができ、全般的なコーディング効率を向上させることができる。

【0012】

本文書によると、ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグに基づいて、現在ピクチャ内のスライス個数に対する制約及び関連ピクチャに対するＰＨ ＮＡＬユニット存在に対する制約を設定することができ、これによって、ビットストリームのビットレートに適応的にＮＡＬユニットを調節して全般的なコーディング効率を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【図2】本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。

【図3】本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。

【図4】コーディングされた映像情報の階層構造（ｈｉｅｒａｒｃｈｉｃａｌ ｓｔｒｕｃｔｕｒｅ）を例示的に示す。

【図5】本文書の実施例によるエンコーディング手順を例示的に示す。

【図6】本文書の実施例によるデコーディング手順を例示的に示す。

【図7】ＰＨ ＮＡＬユニットの存在有無によるＮＡＬユニット内のピクチャヘッダ構成を例示的に示す。

【図8】本文書に係るエンコード装置による画像エンコード方法を概略的に示す。

【図9】本文書に係る画像エンコード方法を行うエンコード装置を概略的に示す。

【図10】本文書に係るデコード装置による画像デコード方法を概略的に示す。

【図11】本文書に係る画像デコード方法を行うデコード装置を概略的に示す。

【図12】本文書の実施形態が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【発明を実施するための形態】

【0014】

本文書は、様々な変更を加えることができ、種々の実施形態を有することができ、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書において常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。

【0015】

一方、本文書において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすことができ、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から逸脱しない限り、本文書の権利範囲に含まれる。

【0016】

以下、添付した図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重なった説明は省略されることができる。

【0017】

図１は、本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。

【0018】

図１に示すように、ビデオ／画像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスに伝達することができる。

【0019】

前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラーを備えることができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に含まれることができる。受信機は、デコード装置に含まれることができる。レンダラーは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。

【0020】

ビデオソースは、ビデオ／画像のキャプチャ、合成、または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを備えることができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを備えることができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程にてビデオ／画像キャプチャ過程が代替されることができる。

【0021】

エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。

【0022】

送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル記録媒体またはネットワークを介して受信デバイスの受信部に伝達することができる。デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。

【0023】

デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコードすることができる。

【0024】

レンダラーは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。

【0025】

この文書は、ビデオ／画像コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、または次世代ビデオ／画像コーディング標準（例えば、Ｈ．２６７またはＨ．２６８等）に開示される方法に適用されることができる。

【0026】

この文書では、ビデオ／画像コーディングに関する様々な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせられて実行されることもできる。

【0027】

この文書においてビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味し得る。ピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定の時間帯の１つの画像を示す単位を意味し、サブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）／スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）はコーディングにおいてピクチャの一部を構成する単位である。サブピクチャ／スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは１つ以上のサブピクチャ／スライス／タイルで構成されてもよい。１つのピクチャは１つ以上のタイルのグループで構成されてもよい。１つのタイルグループは１つ以上のタイルを含んでもよい。ブリックはピクチャ内のタイル内のＣＴＵ行の長方形領域を示す（ａ ｂｒｉｃｋ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｉｎ ａ ｐｉｃｔｕｒｅ）。タイルは複数のブリックでパーティショニングされ、各ブリックは前記タイル内の１つ以上のＣＴＵ行で構成される（Ａ ｔｉｌｅ ｍａｙ ｂｅ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ， ｅａｃｈ ｏｆ ｗｈｉｃｈ ｃｏｎｓｉｓｔｉｎｇ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ｔｈｅ ｔｉｌｅ）。複数のブリックによりパーティショニングされていないタイルもブリックと呼ばれてもよい（Ａ ｔｉｌｅ ｔｈａｔ ｉｓ ｎｏｔ ｐａｒｔｉｔｉｏｎｅｄ ｉｎｔｏ ｍｕｌｔｉｐｌｅ ｂｒｉｃｋｓ ｍａｙ ｂｅ ａｌｓｏ ｒｅｆｅｒｒｅｄ ｔｏ ａｓ ａ ｂｒｉｃｋ）。ブリックスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し、前記ＣＴＵはブリック内においてＣＴＵラスタスキャンで整列され、タイル内のブリックは前記タイルの前記ブリックのラスタスキャンで連続的に整列され、そして、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタスキャンで連続整列される（Ａ ｂｒｉｃｋ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｂｒｉｃｋ， ｂｒｉｃｋｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｂｒｉｃｋｓ ｏｆ ｔｈｅ ｔｉｌｅ， ａｎｄ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。また、サブピクチャはサブピクチャ内の１つ以上のスライスの長方形領域を示す（ａ ｓｕｂｐｉｃｔｕｒｅ ｍａｙ ｒｅｐｒｅｓｅｎｔ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。すなわち、サブピクチャはピクチャの長方形領域を総括的にカバーする１つ以上のスライスを含む（ａ ｓｕｂｐｉｃｔｕｒｅ ｃｏｎｔａｉｎｓ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｔｈａｔ ｃｏｌｌｅｃｔｉｖｅｌｙ ｃｏｖｅｒ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ａ ｐｉｃｔｕｒｅ）。タイルは特定タイル列及び特定タイル列以内のＣＴＵの長方形領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列はＣＴＵの長方形領域であり、前記長方形領域は前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示される（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行はＣＴＵの長方形領域であり、前記長方形領域はピクチャパラメータセット内のシンタックスエレメントにより明示される幅を有し、高さは前記ピクチャの高さと同一であり得る（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダリングを示し、前記ＣＴＵはタイル内のＣＴＵラスタスキャンで連続整列され、ピクチャ内のタイルは前記ピクチャの前記タイルのラスタスキャンで連続整列される（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスはピクチャの整数個のブリックを含み、前記整数個のブリックは１つのＮＡＬユニットに含まれる（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｂｒｉｃｋｓ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）。スライスは複数の完全なタイルで構成され、または、１つのタイルの完全なブリックの連続的なシーケンスであり得る（Ａ ｓｌｉｃｅ ｍａｙ ｃｏｎｓｉｓｔｓ ｏｆ ｅｉｔｈｅｒ ａ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ｏｎｌｙ ａ ｃｏｎｓｅｃｕｔｉｖｅ ｓｅｑｕｅｎｃｅ ｏｆ ｃｏｍｐｌｅｔｅ ｂｒｉｃｋｓ ｏｆ ｏｎｅ ｔｉｌｅ）。この文書では、タイルグループとスライスは混用されてもよい。例えば、本文書ではｔｉｌｅ ｇｒｏｕｐ／ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒはｓｌｉｃｅ／ｓｌｉｃｅ ｈｅａｄｅｒと呼ばれてもよい。

【0028】

ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0029】

ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち、少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。

【0030】

本明細書において「Ａ又はＢ（Ａ ｏｒ Ｂ）」は「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味し得る。言い換えると、本明細書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解され得る。例えば，本明細書において「Ａ、Ｂ又はＣ（Ａ，Ｂ ｏｒ Ｃ）」は，「Ａのみ」、「Ｂのみ」、「Ｃのみ」又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）」を意味し得る。

【0031】

本明細書において使用されるスラッシュ（／）やコンマ（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」を意味し得る。これにより、「Ａ／Ｂ」は「Ａのみ」、「Ｂのみ」、又は「ＡとＢの両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は「Ａ、Ｂ又はＣ」を意味し得る。

【0032】

本明細書において「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味し得る。また、本明細書において「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。

【0033】

また、本明細書において「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。

【0034】

また、本明細書において用いられる括弧は「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的には、「予測（イントラ予測）」と表示されている場合、「予測」の一例として「イントラ予測」が提案されているものであり得る。言い換えると、本明細書の「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されるものであり得る。また、「予測（すなわち、イントラ予測）」と表示されている場合にも、「予測」の一例として、「イントラ予測」が提案されているものであり得る。

【0035】

本明細書において１つの図面内で個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。

【0036】

以下の図面は，本明細書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な信号／メッセージ／フィールドの名称は例示的に提示するものであるので、本明細書の技術的特徴が以下の図面に用いられた具体的な名称に制限されない。

【0037】

図２は、本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。以下、ビデオエンコード装置とは、画像エンコード装置を含むことができる。

【0038】

図２に示すように、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記録媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。

【0039】

画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造が後ほど適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書に係るコーディング手順が実行されることができる。この場合、画像特性に応じるコーディング効率などに基づいて、最大コーディングユニットが直ちに最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）、より下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。

【0040】

ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。

【0041】

エンコード装置２００は、入力画像信号（原本ブロック、原本サンプルアレイ）から、インター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力画像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0042】

イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または、離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒ Ｍｏｄｅ）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用されることができる。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0043】

インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するためにどのような候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なってレジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって現在ブロックの動きベクトルを指示することができる。

【0044】

予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。

【0045】

前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち、少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形でない、可変サイズのブロックにも適用されることもできる。

【0046】

量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームとして出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を実行することができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に、または別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書においてエンコード装置からデコード装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／画像情報に含まれることができる。前記ビデオ／画像情報は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル記録媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記録媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な記録媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコード部２４０に含まれることもできる。

【0047】

量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによってレジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0048】

一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0049】

フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。

【0050】

メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置２００とデコード装置３００での予測ミスマッチを避けることができ、符号化効率も向上させることができる。

【0051】

メモリ２７０ＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。

【0052】

図３は、本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。

【0053】

図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２２を備えることができる。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル記録媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。

【0054】

ビデオ／画像情報を含むビットストリームが入力されると、デコード装置３００は、図２のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを実行することができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出されることができる。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。

【0055】

デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣ等のコーディング方法を基にビットストリーム内の情報をデコードし、画像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値などを出力することができる。より詳細に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各構文要素に該当するビンを受信し、デコード対象構文要素情報と周辺及びデコード対象ブロックのデコード情報、または以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測し、ビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行して各構文要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０でエントロピーデコードが実行されたレジデュアル値、すなわち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素である。一方、本文書に係るデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。

【0056】

逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0057】

逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。

【0058】

予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、またはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。

【0059】

予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似して実行されることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見ることができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／画像情報に含まれてシグナリングされることができる。

【0060】

イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することができ、または離れて位置することもできる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0061】

インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードから送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。

【0062】

加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。

【0063】

加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、または次のピクチャのインター予測のために使用されることもできる。

【0064】

一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0065】

フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0066】

メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。

【0067】

本明細書において、エンコード装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施形態は、各々デコード装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。

【0068】

本文書において量子化／逆量子化及び／又は変換／逆変換のうち、少なくとも１つは省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数またはレジデュアル係数と呼ばれることができ、または、表現の統一性のために、変換係数と依然と呼ばれることもできる。

【0069】

本文書において量子化された変換係数及び変換係数は、各々変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と称されることができる。この場合、レジデュアル情報は、変換係数（等）に関する情報を含むことができ、前記変換係数（等）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（または、前記変換係数（等）に関する情報）に基づいて変換係数が導出され得るし、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出され得る。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出され得る。これは、本文書の他の部分でも同様に適用／表現されることができる。

【0070】

図４は、コーディングされた映像情報の階層構造（ｈｉｅｒａｒｃｈｉｃａｌ ｓｔｒｕｃｔｕｒｅ）を例示的に示す。

【0071】

図４は、本文書のコーディングレイヤ及び構造によってコーディングされたビデオ／映像（ｖｉｄｅｏ／ｉｍａｇｅ）を例示的に示すことができる。図４を参照すると、コーディングされたビデオ／映像は、ビデオ／映像及びビデオ／映像のデコーディングプロセスを処理するＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ、ＶＣＬ）、コーディングされた情報を送信及び格納するサブシステム（ｓｕｂｓｙｓｔｅｍ）、ＶＣＬとサブシステムとの間に存在して機能を担当するＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ、ＮＡＬ）に区分されることができる。

【0072】

例えば、ＶＣＬでは、圧縮されたイメージデータ（スライスデータ）を含むＶＣＬデータが生成され、またはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）または映像デコーディング過程に追加で必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）メッセージを含むパラメータセットが生成されることができる。

【0073】

また、例えば、ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ（ｈｅａｄｅｒ）情報（ＮＡＬユニットヘッダ）を追加してＮＡＬユニットが生成されることができる。この場合、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ（ｓｌｉｃｅ ｄａｔａ）、パラメータセット（ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＥＩメッセージ（ＳＥＩ ｍｅｓｓａｇｅ）などを参照することができる。ＮＡＬユニットヘッダは、該当ＮＡＬユニットに含まれているＲＢＳＰデータによって指定されたＮＡＬユニットタイプ情報を含むことができる。

【0074】

また、例えば、図４に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに分類されることができる（ｃｌａｓｓｉｆｉｅｄ）。ＶＣＬ ＮＡＬユニットは、映像（ｉｍａｇｅ）に対する情報（スライスデータ）を含むＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像デコーディングに必要な情報（パラメータセットまたはＳＥＩメッセージ）を含むＮＡＬユニットを意味することができる。

【0075】

前述したＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットは、サブシステムのデータ規格（ｄａｔａ ｓｔａｎｄａｒｄ）によってヘッダ情報を添付してネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット（ＶＶＣ ｆｉｌｅ ｆｏｒｍａｔ）、リアルタイムトランスポートプロトコル（ｒｅａｌ－ｔｉｍｅ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ、ＲＴＰ）、トランスポートプストリーム（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ、ＴＳ）などのようなあらかじめ決められた標準のデータフォーマット（ｄａｔａ ｆｏｒｍａｔ）に変換されることができ、多様なネットワークを介して送信されることができる。

【0076】

また、前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれているＲＢＳＰデータ構造によってＮＡＬユニットタイプが指定されることができ、ＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。

【0077】

例えば、ＮＡＬユニットは、映像に対する情報（スライスデータ）を含むかどうかによってＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。また、ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットに含まれているピクチャの特性とタイプによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットのタイプによって分類されることができる。

【0078】

次は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプに含まれているパラメータセットのタイプによって指定されたＮＡＬユニットタイプの例である。

【0079】

－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット:ＡＰＳを含むＮＡＬユニットに対するタイプ

【0080】

－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット:ＤＰＳを含むＮＡＬユニットに対するタイプ

【0081】

－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット:ＶＰＳを含むＮＡＬユニットに対するタイプ

【0082】

－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット:ＳＰＳを含むＮＡＬユニットに対するタイプ

【0083】

－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬユニット:ＰＰＳを含むＮＡＬユニットに対するタイプ

【0084】

－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬユニット:ＰＨを含むＮＡＬユニットに対するタイプ

【0085】

前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプに対するシンタックス情報を有することができ、シンタックス情報は、ＮＡＬユニットヘッダに格納及びシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬ単位タイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に指定されることができる。

【0086】

一方、前述したように、一つのピクチャは、複数のスライスを含むことができ、スライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、複数のスライス（スライスヘッダ及びスライスデータのセット）に対して一つのピクチャヘッダが追加される（埋め込まれる（ｅｍｂｅｄｄｅｄ））ことができる。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通的に適用されることができる情報／パラメータを含むことができる。スライスヘッダ（スライスヘッダシンタックス）は、スライスに共通的に適用されることができる情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライスまたはピクチャに共通的に適用されることができる情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンス（ｓｅｑｕｅｎｃｅ）に共通的に適用されることができる情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、複数のレイヤに共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、全体映像に共通的に適用されることができる情報／パラメータを含むことができる。ＤＰＳは、コーディングされたビデオシーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ、ＣＶＳ）の連結（ｃｏｎｃａｔｅｎａｔｉｏｎ）と関連した情報／パラメータを含むことができる。この文書において、ＨＬＳ（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ）は、ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、及びスライスヘッダシンタックスのうち少なくとも一つを含むことができる。

【0087】

一方、前述したように、一般的に一つのピクチャに対して一つのＮＡＬユニットタイプが設定されることができ、前記ＮＡＬユニットタイプは、前述したように、スライスを含むＮＡＬユニットのＮＡＬユニットヘッダでｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを介してシグナリングされることができる。以下の表は、ＮＡＬユニットタイプコード及びＮＡＬユニットタイプクラスの一例を示す。

【0088】

【表1-1】

【0089】

【表1-2】

【0090】

一方、前述したように、ピクチャは、一つ以上のスライスで構成されることができる。また、前記ピクチャを説明するパラメータは、ピクチャヘッダ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）にシグナリングされることができ、スライスを説明するパラメータは、スライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ、ＳＨ）にシグナリングされることができる。前記ＰＨは、自体ＮＡＬユニットタイプに伝達されることができる。また、前記ＳＨは、スライスのペイロード（ｐａｙｌｏａｄ）（すなわち、スライスデータ（ｓｌｉｃｅ ｄａｔａ））を含むＮＡＬユニットの開始部分に存在できる。

【0091】

例えば、シグナリングされるＰＨのシンタックスエレメントは、下記の通りである。

【0092】

【表2-1】

【0093】

【表2-2】

【0094】

【表2-3】

【0095】

【表2-4】

【0096】

【表2-5】

【0097】

【表2-6】

【0098】

一方、ＰＨの採択は、全てのコーディングされたピクチャに対して少なくとも二つのＮＡＬユニットがあるべきことを意味することができる。例えば、前記二つのユニットのうち、一つはＰＨに対するＮＡＬユニットであり、他の一つはスライスヘッダ（ＳＨ）及びスライスデータを含むコーディングされたスライスに対するＮＡＬユニットである。これはピクチャ当たり追加（ａｄｄｉｔｉｏｎａｌ）ＮＡＬユニットがビットレート（ｂｉｔｒａｔｅ）に大きい影響を及ぼすことができるため、ビットレートが低いビットストリームに対しては問題になることができる。したがって、ＰＨが新しいＮＡＬユニットを消耗しないモードを有することが好ましい。

【0099】

したがって、本文書は、前述した問題を解決するための後述する実施例を提案する。提案される実施例は、個別的にまたは組み合わせて適用されることができる。

【0100】

一例として、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）にＰＨ ＮＡＬユニットが存在するかどうかを示すハイレバルパラメータセット内のフラグをシグナリングする方案を提案する。すなわち、前記フラグは、ピクチャヘッダ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）がＮＡＬユニット（すなわち、ＰＨ ＮＡＬユニット）に存在するかまたはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）に存在するかを示すことができる。ここで、例えば、前記ＣＬＶＳは、同じ値のｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャユニット（Ｐｉｃｔｕｒｅ Ｕｎｉｔ、ＰＵ）のシーケンスを意味することができる。前記ピクチャユニットは、コーディングされたピクチャに対するＮＡＬユニット（等）のセットである。また、例えば、前記ハイレバルパラメータセットは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）またはスライスヘッダ（ｓｌｉｃｅ ｈｅａｄｅｒ）である。前記フラグは、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと呼ばれることができる。または、前記フラグは、ＰＨ ＮＡＬ存在フラグと呼ばれることができる。

【0101】

また、本文書は、前記ＰＨ ＮＡＬ存在フラグと関連して、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が同じなＣＶＳのピクチャが参照する全てのＳＰＳに対して同じであると制約する実施例を提案する。前記制約は、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値がマルチレイヤ（ｍｕｌｔｉ－ｌａｙｅｒ）ビットストリームで一つのコーディングされたビデオシーケンスに対して同じでなければならないことを意味することができる。

【0102】

また、一例として、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１と同じ場合、一つのＰＨ ＮＡＬユニットが存在し、前記ＰＨ ＮＡＬユニットは、ピクチャのＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ、ＶＣＬ）ＮＡＬユニットと関連されることを提案する。

【0103】

また、一例として、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０と同じ場合（すなわち、ＰＨ ＮＡＬユニットが各ピクチャに対して存在しない場合）、下記のような制約が適用される方案を提案する。

【0104】

例えば、前記制約は、下記の通りである。

【0105】

第一に、ＣＬＶＳの全てのピクチャは、一つのスライスのみを含むことができる。

【0106】

第二に、ＰＨ ＮＡＬユニットが存在しないことがある。ＰＨシンタックステーブル（ＰＨ ｓｙｎｔａｘ ｔａｂｌｅ）は、ＳＨ（Ｓｌｉｃｅ Ｈｅａｄｅｒ、ＳＨ）及びスライスデータ（ｓｌｉｃｅｄａｔａ）と共にスライスレイヤＲＢＳＰに存在できる。すなわち、ＰＨシンタックステーブルは、スライスヘッダに存在できる。

【0107】

第三に、ＰＨシンタックステーブルとＳＨシンタックステーブルがバイト整列された（ｂｙｔｅ ａｌｉｇｎｅｄ）位置で始まることができる。これを具現するために、ＰＨとＳＨとの間にバイト整列ビットが追加されることができる。

【0108】

第四に、ＳＰＳを参照する全てのＰＰＳ内のｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０である。

【0109】

第五に、ＰＨまたはＳＨに存在できる全てのシンタックスエレメントは、ＳＨでないＰＨに存在できる。

【0110】

また、一例として、アクセスユニットディテクション（ａｃｃｅｓｓ ｕｎｉｔ ｄｅｔｅｃｔｉｏｎ）をアップデートする方案が提案されることができる。すなわち、ＰＨをチェックする代わりに、全ての新しいＶＣＬ ＮＡＬユニットは、新しいＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）を意味することができる。すなわち、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むＶＣＬ ＮＡＬユニットは、以前順序のＡＵ（すなわち、以前順序のＡＵに対するピクチャ）に対するＶＣＬ ＮＡＬユニットでなく、新しいＡＵ（すなわち、新しいＡＵに対するピクチャ）に対するＶＣＬ ＮＡＬユニットがパーシングされることを意味することができる。したがって、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むＶＣＬ ＮＡＬユニットは、新しいＡＵのピクチャ（例えば、デコーディングが実行される現在ピクチャ）に対する１番目のＶＣＬ ＮＡＬユニットである。ここで、ＡＵは、互いに異なるレイヤに属し、ＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、ＤＰＢ）の出力のために同じ時間と関連したコーディングされたピクチャを含むＰＵ（Ｐｉｃｔｕｒｅ Ｕｎｉｔ、ＰＵ）のセットを意味することができる。また、前記ＰＵは、互いに関連されてデコーディング順序が連続的な一つのコーディングされたピクチャを含むＮＡＬユニットのセットを意味することができる。すなわち、前記ＰＵは、互いに関連されてデコーディング順序が連続的な一つのコーディングされたピクチャに対するＮＡＬユニットのセットを意味することができる。一方、ビットストリームがマルチレイヤビットストリームでないシングルレイヤビットストリーム（ｓｉｎｇｌｅ ｌａｙｅｒ ｂｉｔｓｔｒｅａｍ）である場合、ＡＵは、ＰＵと同じである。

【0111】

本文書で提案した実施例は、後述するように具現されることができる。

【0112】

例えば、本文書の実施例で提案したｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされるＳＰＳシンタックスは、下記の通りである。

【0113】

【表3】

【0114】

表３を参照すると、ＳＰＳは、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むことができる。

【0115】

例えば、シンタックスエレメントｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのセマンティック（ｓｅｍａｎｔｉｃ）は、以下の表の通りである。

【0116】

【表4】

【0117】

例えば、表４を参照すると、シンタックスエレメントｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳを参照するＣＬＶＳ等（ＣＬＶＳｓ）の各コーディングされたピクチャに対してＰＨ＿ＮＵＴと同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニットが存在するかどうかを示すことができる。例えば、１と同じｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳを参照するＣＬＶＳ等（ＣＬＶＳｓ）の各コーディングされたピクチャに対してＰＨ＿ＮＵＴと同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニットが存在することを示すことができる。また、例えば、０と同じｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＳＰＳを参照するＣＬＶＳ等（ＣＬＶＳｓ）の各コーディングされたピクチャに対してＰＨ＿ＮＵＨと同じｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬ単位が存在しないことを示すことができる。

【0118】

また、例えば、前記ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合、下記のような内容が適用されることができる。

【0119】

－ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＰＨ＿ＮＵＴであるＮＡＬユニット（すなわち、ＰＨ ＮＡＬユニット）は、ＳＰＳを参照するＣＬＶＳに存在しない。

【0120】

－ＳＰＳを参照するＣＬＶＳの各ピクチャは、一つのスライスを含むことができる。

【0121】

－ＰＨは、スライスレイヤＲＢＳＰに存在できる。

【0122】

一方、表３及び表４において、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＳＰＳにシグナリングされる方案を提案しているが、表３及び表４に示す方案は、本文書で提案した一実施例に過ぎず、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＳＰＳ以外のＰＰＳまたはスライスヘッダにシグナリングされる実施例も提案されることができる。

【0123】

一方、例えば、本文書で提案した一実施例によると、ピクチャヘッダシンタックステーブル及びピクチャヘッダＲＢＳＰは、以下の表のように分離されてシグナリングされることができる。

【0124】

【表5】

【0125】

また、前記シグナリングされるピクチャヘッダシンタックステーブルは、下記の通りである。

【0126】

【表6-1】

【0127】

【表6-2】

【0128】

【表6-3】

【0129】

【表6-4】

【0130】

【表6-5】

【0131】

【表6-6】

【0132】

また、例えば、本文書で提案した一実施例によると、スライスレイヤＲＢＳＰは、下記のようにシグナリングされることができる。

【0133】

【表7】

【0134】

また、例えば、本文書で提案した一実施例によると、以下の表に示す制約のうち一つ以上が適用されることができる。

【0135】

【表8】

【0136】

例えば、表８を参照すると、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０になることができる。

【0137】

また、例えば、下記の二つの条件が全て真（ｔｒｕｅ）である場合、ｐｉｃ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１と同じでなければならないことが、ビットストリーム適合性の要求事項である。

【0138】

－ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは０であり、ＰＨと関連したピクチャがＩＤＲピクチャでない。

【0139】

－ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは０であり、ＰＨと関連したピクチャがＩＤＲピクチャであり、ｓｐｓ＿ｉｄ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは１と同じである。

【0140】

ここで、前記ｒｐｌは、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）を意味することができる。

【0141】

また、例えば、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ｐｉｃ＿ｓａｏ＿ｅｎａｂｌｅｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１と同じでなければならないことが、ビットストリーム適合性の要求事項である。

【0142】

また、例えば、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ｐｉｃ＿ａｌｆ＿ｅｎａｂｌｅｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１と同じでなければならないことが、ビットストリーム適合性の要求事項である。

【0143】

また、例えば、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ｐｉｃ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｏｖｅｒｒｉｄｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１と同じでなければならないことが、ビットストリーム適合性の要求事項である。

【0144】

一方、例えば、実施例（等）は、下記の手順によって適用されることができる。

【0145】

図５は、本文書の実施例によるエンコーディング手順を例示的に示す。

【0146】

図５を参照すると、エンコーディング装置は、ピクチャに対する情報を含むＮＡＬユニット（等）を生成することができる（Ｓ５００）。エンコーディング装置は、ピクチャヘッダに対するＮＡＬユニットが存在するかどうかを決定することができ（Ｓ５１０）、前記ピクチャヘッダに対するＮＡＬユニットが存在するかどうかを判断することができる（Ｓ５２０）。

【0147】

例えば、前記ピクチャヘッダに対するＮＡＬユニットが存在する場合、エンコーディング装置は、スライスヘッダを含むＶＣＬ ＮＡＬユニット及びピクチャヘッダを含むＰＨ ＮＡＬユニットを含むビットストリームを生成することができる（Ｓ５３０）。

【0148】

一方、例えば、前記ピクチャヘッダに対するＮＡＬユニットが存在しない場合、エンコーディング装置は、スライスヘッダ及びピクチャヘッダを含むＶＣＬ ＮＡＬユニットを含むビットストリームを生成することができる（Ｓ５４０）。すなわち、例えば、前記ピクチャヘッダシンタックス構造は、前記スライスヘッダに存在できる。

【0149】

図６は、本文書の実施例によるデコーディング手順を例示的に示す。

【0150】

図６を参照すると、デコーディング装置は、ＮＡＬユニット（等）を含むビットストリームを受信することができる（Ｓ６００）。以後、デコーディング装置は、ピクチャヘッダに対するＮＡＬユニットが存在するかどうかを判断することができる（Ｓ６１０）。

【0151】

例えば、前記ピクチャヘッダに対するＮＡＬユニットが存在する場合、デコーディング装置は、ＶＣＬ ＮＡＬユニット内のスライスヘッダ及びＰＨ ＮＡＬユニット内のピクチャヘッダに基づいてピクチャ／スライス／ブロック／サンプルをデコーディング／復元することができる（Ｓ６２０）。

【0152】

一方、例えば、前記ピクチャヘッダに対するＮＡＬユニットが存在しない場合、デコーディング装置は、ＶＣＬ ＮＡＬユニット内のスライスヘッダ及びピクチャヘッダに基づいてピクチャ／スライス／ブロック／サンプルをデコーディング／復元することができる（Ｓ６３０）。

【0153】

ここで、（コーディングされた）ビットストリームは、ピクチャをデコーディングするための一つ以上のＮＡＬユニットを含むことができる。また、ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットまたはｎｏｎ－ＶＣＬ ＮＡＬユニットである。例えば、ＶＣＬ ＮＡＬユニットは、コーディングされたスライスに対する情報を含むことができ、ＶＣＬ ＮＡＬユニットは、前述した表１に記述されたＮＡＬユニットタイプクラス「ＶＣＬ」を有するＮＡＬユニットタイプを有することができる。

【0154】

一方、本文書で提案した実施例によると、ビットストリームは、ＰＨ ＮＡＬユニット（ピクチャヘッダに対するＮＡＬユニット）を含むことがあり、またはビットストリームは現在ピクチャに対するＰＨ ＮＡＬユニットを含まないことがある。ＰＨ ＮＡＬユニットの存在有無を示す情報（例えば、ｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）は、ＨＬＳ（例えば、ＶＰＳ、ＤＰＳ、ＳＰＳまたはスライスヘッダなど）にシグナリングされることができる。

【0155】

図７は、ＰＨ ＮＡＬユニットの存在有無によるＮＡＬユニット内のピクチャヘッダ構成を例示的に示す。例えば、図７の（ａ）は、現在ピクチャに対するＰＨ ＮＡＬユニットが存在する場合を示すことができ、図７の（ｂ）は、現在ピクチャに対するＰＨ ＮＡＬユニットが存在しないが、ピクチャヘッダがＶＣＬ ＮＡＬユニットに含まれる場合を示すことができる。

【0156】

例えば、前記ＰＨ ＮＡＬユニットが存在する場合、ピクチャヘッダは、ＰＨ ＮＡＬユニットに含まれることができる。それに対して、ＰＨ ＮＡＬユニットが存在しない場合、ピクチャヘッダは、依然として構成されることができるが、他のＮＡＬユニットに含まれることができる。例えば、ピクチャヘッダは、ＶＣＬ ＮＡＬユニットに含まれることができる。前記ＶＣＬ ＮＡＬユニットは、コーディングされたスライスに対する情報を含むことができる。ＶＣＬユニットは、コーディングされたスライスに対するスライスヘッダを含むことができる。例えば、特定スライスヘッダが、コーディングされた／関連されたスライスがピクチャまたはサブピクチャ（ｓｕｂｐｉｃｔｕｒｅ）で１番目のスライスという情報を含む場合、ピクチャヘッダは、前記特定スライスヘッダを含む特定ＶＣＬ ＮＡＬユニットに含まれることができる。または、例えば、ＰＨ ＮＡＬユニットが存在しない場合、ピクチャヘッダは、ＰＰＳ ＮＡＬユニット、ＡＰＳ ＮＡＬユニットなどのようなＮｏｎ－ＶＣＬ ＮＡＬユニットに含まれることができる。

【0157】

図８は、本文書によるエンコーディング装置による映像エンコーディング方法を概略的に示す。図８に開示された方法は、図２に開示されたエンコーディング装置により実行されることができる。具体的に、例えば、図８のＳ８００乃至Ｓ８２０は、前記エンコーディング装置のエントロピーエンコーディング部により実行されることができる。また、図示されてはいないが、現在ピクチャをデコーディングする過程は、前記エンコーディング装置の予測部及びレジデュアル処理部により実行されることができる。

【0158】

エンコーディング装置は、現在ピクチャと関連したＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）を含むＰＨ ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットが存在するかどうかを判断する（Ｓ８００）。エンコーディング装置は、現在ピクチャに対するＮＡＬユニットを生成することができる。例えば、前記現在ピクチャに対するＮＡＬユニットは、前記現在ピクチャと関連したＰＨを含むＰＨ ＮＡＬユニット及び／または前記現在ピクチャのスライスに対する情報（例えば、スライスヘッダ及びスライスデータ）を含むＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｅｄ Ｌａｙｅｒ）ＮＡＬユニットを含むことができる。エンコーディング装置は、前記ＰＨ ＮＡＬユニットが存在するかどうかを判断することができる。例えば、前記ＰＨ ＮＡＬユニットが存在する場合、エンコーディング装置は、前記現在ピクチャと関連したＰＨを含むＰＨ ＮＡＬユニット及び／または前記現在ピクチャのスライスに対する情報（例えば、スライスヘッダ及びスライスデータ）を含むＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｅｄ Ｌａｙｅｒ）ＮＡＬユニットを生成することができる。また、例えば、前記ＰＨ ＮＡＬユニットが存在しない場合、エンコーディング装置は、前記現在ピクチャと関連したＰＨ及び前記現在ピクチャの一つのスライスに対する情報（例えば、スライスヘッダ及びスライスデータ）を含むＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｅｄ Ｌａｙｅｒ）ＮＡＬユニットを生成することができる。また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記現在ピクチャは、一つのスライスを含むことができる。ここで、例えば、前記ＰＨは、前記現在ピクチャに対するパラメータを示すシンタックスエレメントを含むことができる。

【0159】

エンコーディング装置は、前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットの存在有無に対するフラグを生成する（Ｓ８１０）。エンコーディング装置は、前記判断の結果に基づいて前記ＰＨ ＮＡＬユニットの存在有無に対するフラグを生成することができる。例えば、前記フラグは、前記ＰＨ ＮＡＬユニットが存在するかどうかを示すことができる。例えば、前記フラグの値が１である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在することを示すことができ、前記フラグの値が０である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在しないことを示すことができる。または、例えば、前記フラグの値が０である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在することを示すことができ、前記フラグの値が１である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在しないことを示すことができる。前記フラグのシンタックスエレメントは、前述したｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである。

【0160】

エンコーディング装置は、前記フラグを含む映像情報をエンコーディングする（Ｓ８２０）。エンコーディング装置は、前記フラグを含む映像情報をエンコーディングすることができる。映像情報は、前記フラグを含むことができる。また、例えば、前記映像情報は、ハイレバルシンタックスを含むことができ、前記フラグは、前記ハイレバルシンタックスに含まれることができる。例えば、前記ハイレバルシンタックスは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）である。または、例えば、前記ハイレバルシンタックスは、スライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ、ＳＨ）である。すなわち、例えば、前記フラグは、前記スライスヘッダに含まれることができる。

【0161】

一方、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットに含まれることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、前記現在ピクチャと関連したスライスヘッダに含まれることができる。例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットに含まれることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、スライスヘッダを含むＶＣＬ ＮＡＬユニットに含まれることができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットに含まれることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、スライスヘッダに含まれることができる。例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記映像情報は、前記ＰＨを含む前記ＰＨ ＮＡＬユニット及び前記現在ピクチャと関連したスライスヘッダを含む少なくとも一つのＶＣＬ ＮＡＬユニットを含むことができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記映像情報は、前記ＰＨ及びスライスヘッダを含むＶＣＬ ＮＡＬユニットを含むことができる。また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記映像情報は、ＰＨ ＮＡＬユニットを含まないことがある。

【0162】

また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記現在ピクチャを含むＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのピクチャに対してＰＨ ＮＡＬユニットが存在しないことがある。すなわち、例えば、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのピクチャに対するＰＨ ＮＡＬユニット存在有無に対するフラグの値は、同じである。また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＣＬＶＳ内の前記全てのピクチャに対するピクチャヘッダは、前記全てのピクチャのスライスヘッダに含まれることができる。

【0163】

一方、例えば、ＡＵディテクションが既存方案と異なるように修正されることができる。例えば、新しいＶＣＬ ＮＡＬユニットは、新しいＡＵを意味することができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、スライスヘッダを含むＶＣＬ ＮＡＬユニットは、（新しいＡＵ（すなわち、現在ピクチャに対するＡＵ）に対する）前記現在ピクチャの１番目のＶＣＬ ＮＡＬユニットである。例えば、前記フラグは、前記ＶＣＬ ＮＡＬユニットの前記スライスヘッダに含まれることができる。または、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨ ＮＡＬユニットにしたがう、すなわち、前記ＰＨ ＮＡＬユニットの次にシグナリングされる前記現在ピクチャの１番目のＶＣＬ ＮＡＬユニットである。

【0164】

一方、エンコーディング装置は、前記現在ピクチャをデコーディングすることができる。例えば、エンコーディング装置は、前記ＰＨのシンタックスエレメントに基づいて前記現在ピクチャをデコーディングすることができる。例えば、前記ＰＨのシンタックスエレメントは、前述した表６に示すシンタックスエレメントである。前記ＰＨは、前記現在ピクチャに対するパラメータを示すシンタックスエレメントを含むことができ、エンコーディング装置は、前記シンタックスエレメントに基づいて前記現在ピクチャをデコーディングすることができる。また、例えば、前記スライスヘッダを含むＶＣＬ ＮＡＬユニットは、前記現在ピクチャ内のスライスに対するスライスデータを含むことができ、エンコーディング装置は、前記スライスデータに基づいて前記現在ピクチャのスライスをデコーディングすることができる。例えば、デコーディング装置は、前記現在ピクチャの予測サンプル及びレジデュアルサンプルを導出することができ、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ピクチャに対する復元サンプル／復元ピクチャを生成することができる。

【0165】

一方、例えば、エンコーディング装置は、前記現在ピクチャのブロックに対する予測情報を生成及びエンコーディングすることができる。この場合、インター予測またはイントラ予測など、本文書に開示された多様な予測方法が適用されることができる。例えば、エンコーディング装置は、前記ブロックにインター予測を実行するかまたはイントラ予測を実行するかを決定することができ、具体的なインター予測モードまたは具体的なイントラ予測モードをＲＤコストに基づいて決定できる。決定されたモードによって、エンコーディング装置は、前記ブロックに対する予測サンプルを導出することができる。前記予測情報は、前記ブロックに対する予測モード情報を含むことができる。前記映像情報は、前記予測情報を含むことができる。

【0166】

また、例えば、エンコーディング装置は、前記現在ピクチャのブロックに対するレジデュアル情報をエンコーディングすることができる。

【0167】

例えば、エンコーディング装置は、前記ブロックに対する原本サンプルと予測サンプルの減算を介して前記レジデュアルサンプルを導出することができる。

【0168】

以後、例えば、エンコーディング装置は、前記レジデュアルサンプルを量子化して量子化されたレジデュアルサンプルを導出することができ、前記量子化されたレジデュアルサンプルに基づいて変換係数を導出することができ、前記変換係数に基づいて前記レジデュアル情報を生成及びエンコーディングすることができる。または、例えば、エンコーディング装置は、前記レジデュアルサンプルを量子化して量子化されたレジデュアルサンプルを導出することができ、前記量子化されたレジデュアルサンプルを変換して変換係数を導出することができ、前記変換係数に基づいて前記レジデュアル情報を生成及びエンコーディングすることができる。前記映像情報は、前記レジデュアル情報を含むことができる。また、例えば、エンコーディング装置は、映像情報をエンコーディングしてビットストリーム形態で出力できる。

【0169】

エンコーディング装置は、前記予測サンプルと前記レジデュアルサンプルの加算を介して復元サンプル及び／または復元ピクチャを生成することができる。以後、必要によって、主観的／客観的画質を向上させるために、デブロッキングフィルタリング、ＳＡＯ及び／またはＡＬＦ手順のようなインループフィルタリング手順が前記復元サンプルに適用されることができることは、前述の通りである。

【0170】

一方、前記映像情報を含むビットストリームは、ネットワークまたは（デジタル）格納媒体を介してデコーディング装置に送信されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。

【0171】

図９は、本文書による映像エンコーディング方法を実行するエンコーディング装置を概略的に示す。図８に開示された方法は、図９に開示されたエンコーディング装置により実行されることができる。具体的に、例えば、図９の前記エンコーディング装置のエントロピーエンコーディング部は、Ｓ８００乃至Ｓ８２０を実行することができる。また、図示されてはいないが、現在ピクチャをデコーディングする過程は、前記エンコーディング装置の予測部及びレジデュアル処理部により実行されることができる。

【0172】

図１０は、本文書によるデコーディング装置による映像デコーディング方法を概略的に示す。図１０に開示された方法は、図３に開示されたデコーディング装置により実行されることができる。具体的に、例えば、図１０のＳ１０００乃至Ｓ１０１０は、前記デコーディング装置のエントロピーデコーディング部により実行されることができ、図１０のＳ１０２０は、前記デコーディング装置の予測部及びレジデュアル処理部により実行されることができる。

【0173】

デコーディング装置は、ＰＨ（Ｐｉｃｔｕｒｅ Ｈｅａｄｅｒ、ＰＨ）ＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ）ユニットの存在有無に対するフラグを取得する（Ｓ１０００）。デコーディング装置は、ビットストリームを介して前記ＰＨ ＮＡＬユニットの存在有無に対するフラグを取得することができる。例えば、デコーディング装置は、ビットストリームを介して映像情報を取得することができ、前記映像情報は、前記フラグを含むことができる。また、例えば、前記映像情報は、ハイレバルシンタックスを含むことができ、前記フラグは、前記ハイレバルシンタックスに含まれることができる。例えば、前記ハイレバルシンタックスは、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）である。または、例えば、前記ハイレバルシンタックスは、スライスヘッダ（Ｓｌｉｃｅ Ｈｅａｄｅｒ、ＳＨ）である。すなわち、例えば、前記フラグは、前記スライスヘッダに含まれることができる。

【0174】

例えば、前記フラグは、前記ＰＨ ＮＡＬユニットが存在するかどうかを示すことができる。例えば、前記フラグの値が１である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在することを示すことができ、前記フラグの値が０である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在しないことを示すことができる。または、例えば、前記フラグの値が０である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在することを示すことができ、前記フラグの値が１である場合、前記フラグは、前記ＰＨ ＮＡＬユニットが存在しないことを示すことができる。前記フラグのシンタックスエレメントは、前述したｐｈ＿ｎａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇである。

【0175】

デコーディング装置は、前記フラグに基づいてＰＨを取得する（Ｓ１０１０）。デコーディング装置は、前記フラグに基づいて前記ＰＨ ＮＡＬユニットまたはスライスヘッダを含むＶＣＬ ＮＡＬユニットで前記ＰＨを取得することができる。すなわち、例えば、デコーディング装置は、前記フラグに基づいて前記ＰＨ ＮＡＬユニットまたはスライスヘッダで前記ＰＨを取得することができる。

【0176】

例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットで取得されることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、スライスヘッダで取得されることができる。例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットに含まれることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、スライスヘッダを含むＶＣＬ ＮＡＬユニットに含まれることができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨは、前記ＰＨ ＮＡＬユニットに含まれることができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨは、スライスヘッダに含まれることができる。例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記映像情報は、前記ＰＨを含む前記ＰＨ ＮＡＬユニット及びスライスヘッダを含むＶＣＬ ＮＡＬユニットを含むことができ、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記映像情報は、前記ＰＨ及びスライスヘッダを含むＶＣＬ ＮＡＬユニットを含むことができる。また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記映像情報は、ＰＨ ＮＡＬユニットを含まないことがある。

【0177】

また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＰＨと関連した現在ピクチャは、一つのスライスを含むことができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記映像情報は、前記現在ピクチャ内の一つのスライスに対するスライスヘッダを含むＶＣＬ ＮＡＬユニットを含むことができる。

【0178】

また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、ビットストリームを介して前記現在ピクチャに対する前記ＰＨ ＮＡＬユニット及びスライスヘッダを含む少なくとも一つのＶＣＬ ＮＡＬユニットが取得されることができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記映像情報は、前記現在ピクチャに対する前記ＰＨ ＮＡＬユニット及び前記現在ピクチャ内の少なくとも一つのスライスに対するスライスヘッダを含むＶＣＬ ＮＡＬユニットを含むことができる。

【0179】

また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記現在ピクチャを含むＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのピクチャに対してＰＨ ＮＡＬユニットが存在しないことがある。すなわち、例えば、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのピクチャに対するＰＨ ＮＡＬユニット存在有無に対するフラグの値は、同じである。また、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、前記ＣＬＶＳ内の前記全てのピクチャに対するピクチャヘッダは、前記全てのピクチャのスライスヘッダに含まれることができる。

【0180】

一方、例えば、ＡＵディテクションが既存方案と異なるように修正されることができる。例えば、新しいＶＣＬ ＮＡＬユニットは、新しいＡＵを意味することができる。すなわち、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在しないことを示す場合、スライスヘッダを含むＶＣＬ ＮＡＬユニットは、（新しいＡＵ（すなわち、現在ピクチャに対するＡＵ）に対する）前記現在ピクチャの１番目のＶＣＬ ＮＡＬユニットである。例えば、前記フラグは、前記ＶＣＬ ＮＡＬユニットの前記スライスヘッダに含まれることができる。または、例えば、前記フラグが、前記ＰＨ ＮＡＬユニットが存在することを示す場合、前記ＰＨ ＮＡＬユニットにしたがう、すなわち、前記ＰＨ ＮＡＬユニットの次にシグナリングされる前記現在ピクチャの１番目のＶＣＬ ＮＡＬユニットである。

【0181】

デコーディング装置は、前記ＰＨに基づいて前記ＰＨと関連した現在ピクチャをデコーディングする（Ｓ１０２０）。デコーディング装置は、前記ＰＨのシンタックスエレメントに基づいて前記現在ピクチャをデコーディングすることができる。例えば、前記ＰＨのシンタックスエレメントは、前述した表６に示すシンタックスエレメントである。前記ＰＨは、前記現在ピクチャに対するパラメータを示すシンタックスエレメントを含むことができ、デコーディング装置は、前記シンタックスエレメントに基づいて前記現在ピクチャをデコーディングすることができる。また、例えば、前記スライスヘッダを含むＶＣＬ ＮＡＬユニットは、前記現在ピクチャ内のスライスに対するスライスデータを含むことができ、デコーディング装置は、前記スライスデータに基づいて前記現在ピクチャのスライスをデコーディングすることができる。例えば、デコーディング装置は、前記現在ピクチャの予測サンプル及びレジデュアルサンプルを導出することができ、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ピクチャに対する復元サンプル／復元ピクチャを生成することができる。

【0182】

以後、必要によって、主観的／客観的画質を向上させるために、デブロッキングフィルタリング、ＳＡＯ及び／またはＡＬＦ手順のようなインループフィルタリング手順が前記復元サンプルに適用されることができることは、前述の通りである。

【0183】

図１１は、本文書による映像デコーディング方法を実行するデコーディング装置を概略的に示す。図１０に開示された方法は、図１１に開示されたデコーディング装置により実行されることができる。具体的に、例えば、図１１の前記デコーディング装置のエントロピーデコーディング部は、図１０のＳ１０００乃至Ｓ１０１０を実行することができ、図１１の前記デコーディング装置の予測部及びレジデュアル処理部は、図１０のＳ１０２０を実行することができる。

【0184】

詳述した本文書によると、ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグをシグナリングすることができ、前記フラグに基づいてビットストリームのビットレートに適応的にＮＡＬユニットを調節することができ、全般的なコーディング効率を向上させることができる。

【0185】

また、本文書によると、ＰＨ ＮＡＬユニットが存在するかどうかに対するフラグに基づいて現在ピクチャ内のスライス個数に対する制約及び関連ピクチャに対するＰＨ ＮＡＬユニット存在に対する制約を設定することができ、これによって、ビットストリームのビットレートに適応的にＮＡＬユニットを調節して全般的なコーディング効率を向上させることができる。

【0186】

前述した実施形態において、方法は、一連のステップまたはブロックで流れ図を基に説明されているが、本文書は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと異なる順序でまたは同時に発生することができる。また、当業者であれば、流れ図に示されたステップが排他的でなく、他のステップが含まれ、または流れ図の１つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。

【0187】

本文書において説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。例えば、各図面において図示した機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上で実現されて実行されることができる。この場合、実現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル記録媒体に格納されることができる。

【0188】

また、本文書の実施形態が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、記録媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、運送手段端末（例えば、車両端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使用されることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを備えることができる。

【0189】

また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。本文書に係るデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み出すことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介しての送信）の形態で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または有無線通信ネットワークを介して送信されることができる。

【0190】

また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。

【0191】

図１２は、本文書の実施形態が適用されるコンテンツストリーミングシステム構造図を例示的に示す。

【0192】

本文書の実施形態が適用されるコンテンツストリーミングシステムは、大別して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。

【0193】

前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。

【0194】

前記ビットストリームは、本文書の実施形態が適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。

【0195】

前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間命令／応答を制御する役割をする。

【0196】

前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。

【0197】

前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがある。前記コンテンツストリーミングシステム内の各サーバは、分散サーバで運営されることができ、この場合、各サーバで受信するデータは分散処理されることができる。

【0198】

本明細書に記載された請求項は様々な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として実現されることもでき、本明細書の装置請求項の技術的特徴が組み合わせられて方法として実現されることもできる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて装置として実現されることもでき、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせられて方法として実現されることもできる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7(a)】

【図7(b)】

【図8】

【図9】

【図10】

【図11】

【図12】