▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-23
(45)【発行日】2024-07-31
(54)【発明の名称】ＮＡＬユニット関連情報に基づく映像又はビデオコーディング
(51)【国際特許分類】
H04N 19/103 20140101AFI20240724BHJP
H04N 19/159 20140101ALI20240724BHJP
H04N 19/169 20140101ALI20240724BHJP
H04N 19/172 20140101ALI20240724BHJP
H04N 19/174 20140101ALI20240724BHJP
H04N 19/51 20140101ALI20240724BHJP
H04N 19/593 20140101ALI20240724BHJP
H04N 19/70 20140101ALI20240724BHJP
【ＦＩ】
H04N19/103
H04N19/159
H04N19/169 200
H04N19/172
H04N19/174
H04N19/51
H04N19/593
H04N19/70
【請求項の数】
3
(21)【出願番号】P 2022539055
(86)(22)【出願日】2020-12-10
(65)【公表番号】
(43)【公表日】2023-02-28
(86)【国際出願番号】 KR2020018062
(87)【国際公開番号】W WO2021132964
(87)【国際公開日】2021-07-01
【審査請求日】2022-07-12
(31)【優先権主張番号】62/953,110
(32)【優先日】2019-12-23
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100117019
【弁理士】
【氏名又は名称】渡辺 陽一
(74)【代理人】
【識別番号】100108903
【弁理士】
【氏名又は名称】中村 和広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(72)【発明者】
【氏名】ヘンドリー ヘンドリー
【審査官】久保 光宏
(56)【参考文献】
【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 7)"，Document: JVET-P2001-vE, [online]，JVET-P2001 (version 14)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年11月14日，pp. 6,38-43,53,54,56-58,86-89,99,108,129，[令和5年7月8日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=8857> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P2001-v14.zip>.，(See document file "JVET-P2001-vE.docx" in the zip file "JVET-P2001-v14.zip".)
【文献】Ye-Kui Wang, et al.，"AHG17: On mixed NAL unit types within a picture"，Document: JVET-P0124-v1, [online]，JVET-P0124 (version 1)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年09月25日，pp. 1-3，[令和5年7月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=7913> and <URL: https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0124-v1.zip>.，(See document file "JVET-P0124-v1.docx" in the zip file "JVET-P0124-v1.zip".)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
デコード装置により実行される映像デコード方法において、ビットストリームからＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットタイプ関連情報を含む映像情報を取得するステップと、
前記ＮＡＬユニットタイプ関連情報に基づいて、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプを決定するステップと、
前記ＮＡＬユニットタイプに基づいて、前記現在ピクチャをデコードするステップと、を含み、
前記ＮＡＬユニットタイプ関連情報は、前記現在ピクチャが混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するかに関する情報であり、
前記現在ピクチャが混合されたＮＡＬユニットタイプを有することに関する前記ＮＡＬユニットタイプ関連情報に基づいて、前記現在ピクチャの第１スライスに対する第１ＮＡＬユニットタイプが、前記現在ピクチャの第２スライスに対する第２ＮＡＬユニットタイプとは異なり、
前記第１ＮＡＬユニットタイプがＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ＮＡＬユニットタイプであることに基づいて、参照ピクチャリストのシグナリングに関連する情報の値は１に等しい、映像デコード方法。
【請求項2】
エンコード装置により実行される映像エンコード方法において、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプを決定するステップと、
前記ＮＡＬユニットタイプに基づいてＮＡＬユニットタイプ関連情報を生成するステップと、
前記ＮＡＬユニットタイプ関連情報を含む映像情報をエンコードするステップと、を含み、
前記ＮＡＬユニットタイプ関連情報は、前記現在ピクチャが混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するかに関する情報であり、
前記現在ピクチャが混合されたＮＡＬユニットタイプを有することに関する前記ＮＡＬユニットタイプ関連情報に基づいて、前記現在ピクチャの第１スライスに対する第１ＮＡＬユニットタイプは、異なるＮＡＬユニットタイプを有する、前記現在ピクチャの第２スライスに対する第２ＮＡＬユニットタイプとは異なり、
前記第１ＮＡＬユニットタイプがＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ＮＡＬユニットタイプであることに基づいて、参照ピクチャリストのシグナリングに関連する情報の値は１に等しい、映像エンコード方法。
【請求項3】
映像に対するデータの送信方法であって、請求項２に記載の映像エンコード方法に基づいて前記映像に対するビットストリームを生成するステップと、
前記ビットストリームを含む前記データを送信するステップと、を含む、データの送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、ビデオ又は映像コーディングに関し、例えば、ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット関連情報に基づくコーディング技術に関する。
【背景技術】
【0002】
近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量又はビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
【0003】
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
【0004】
これにより、前記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
【0005】
また、映像／ビデオコーディングの効率を向上させるための案が必要であり、そのため、ＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットと関連した情報を効果的にシグナリングしてコーディングする案が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本文書の技術的課題は、ビデオ／映像コーディングの効率を高める方法及び装置を提供することにある。
【0007】
本文書の別の技術的課題は、ＮＡＬユニット関連情報に基づいて、ビデオ／映像コーディングの効率を高める方法及び装置を提供することにある。
【0008】
本文書のまた別の技術的課題は、混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するピクチャに対するビデオ／映像コーディングの効率を高める方法及び装置を提供することにある。
【0009】
本文書のまた別の技術的課題は、混合されたＮＡＬユニットタイプを有するピクチャに対して、参照ピクチャリスト関連情報を特定のＮＡＬユニットタイプを有するピクチャ内のスライスに対して存在するようにするか、又はシグナリングされるようにする方法及び装置を提供することにある。
【課題を解決するための手段】
【0010】
本文書の一実施形態によると、ピクチャが混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するかに関するＮＡＬユニットタイプ関連情報に基づいて、ピクチャ内のスライスに対するＮＡＬユニットタイプを決定することができる。例えば、ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報に基づいて、ピクチャの第１スライスに対する第１ＮＡＬユニットと、ピクチャの第２スライスに対する第２ＮＡＬユニットとは異なるＮＡＬユニットタイプを有し得る。或いは、ピクチャが混合されたＮＡＬユニットタイプを有さないことに関するＮＡＬユニットタイプ関連情報に基づいて、ピクチャの第１スライスに対する第１ＮＡＬユニットと、ピクチャの第２スライスに対する第２ＮＡＬユニットとは同じＮＡＬユニットタイプを有し得る。
【0011】
本文書の一実施形態によると、ピクチャが混合されたＮＡＬユニットタイプを有することを許容する場合に基づいて、ピクチャ内の特定のＮＡＬユニットタイプを有するスライスに対して、参照ピクチャリストのシグナリング関連情報が存在するようにできる。
【0012】
本文書の一実施形態によると、デコード装置により実行されるビデオ／映像のデコード方法を提供する。前記ビデオ／映像のデコード方法は、本文書の実施形態で開示された方法を含むことができる。
【0013】
本文書の一実施形態によると、ビデオ／映像のデコードを実行するデコード装置を提供する。前記デコード装置は、本文書の実施形態で開示された方法を行うことができる。
【0014】
本文書の一実施形態によると、エンコード装置により実行されるビデオ／映像のエンコード方法を提供する。前記ビデオ／映像のエンコード方法は、本文書の実施形態で開示された方法を含むことができる。
【0015】
本文書の一実施形態によると、ビデオ／映像のエンコードを実行するエンコード装置を提供する。前記エンコード装置は、本文書の実施形態で開示された方法を行うことができる。
【0016】
本文書の一実施形態によると、本文書の実施形態の少なくとも１つに開示されたビデオ／映像のエンコード方法によって生成されたエンコードされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
【0017】
本文書の一実施形態によると、デコード装置により本文書の実施形態の少なくとも１つに開示されたビデオ／映像デコード方法を行うように引き起こすエンコードされた情報又はエンコードされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
【発明の効果】
【0018】
本文書は、多様な効果を有することができる。例えば、本文書の一実施形態によると、全般的な映像／ビデオの圧縮効率を高めることができる。また、本文書の一実施形態によると、ＮＡＬユニット関連情報に基づいて、ビデオ／映像コーディングの効率を高めることができる。さらに、本文書の一実施形態によると、混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するピクチャに対するビデオ／映像コーディングの効率を高めることができる。また、本文書の一実施形態によると、混合されたＮＡＬユニットタイプを有するピクチャに対して、参照ピクチャリスト関連情報を効果的にシグナリングしてコーディングすることができる。さらに、本文書の一実施形態によると、リーディングピクチャＮＡＬユニットタイプ（例えば、ＲＡＳＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ）と、他の非－ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ、ＮＵＴ）とを混合された形態で含むピクチャを許容することによって、混合されたＮＡＬユニットタイプを有するピクチャに対してＩＲＡＰだけでなく、他のタイプのＮＡＬユニットとも混合された形態を提供し、これを通じてより柔軟な（ｆｌｅｘｉｂｌｅ）特性を有することができる。
【0019】
本文書の具体的な実施形態を通じて得られる効果は、以上で挙げられた効果に制限されない。例えば、関連する技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解または誘導することができる多様な技術的効果が存在し得る。これによって、本文書の具体的な効果は本文書に明示的に記載されていることに制限されず、本文書の技術的特徴から理解または誘導できる多様な効果を含み得る。
【図面の簡単な説明】
【0020】
【図1】本文書の実施形態に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【図2】本文書の実施形態に適用されることができるビデオ／映像エンコード装置の構成を概略的に説明する図面である。
【図3】本文書の実施形態に適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図面である。
【図4】本文書の実施形態が適用可能な概略的なビデオ／映像エンコード手順の例を示す。
【図5】本文書の実施形態が適用可能な概略的なビデオ／映像デコード手順の例を示す。
【図6】本文書の実施形態が適用可能なエントロピーエンコード方法の一例を概略的に示す。
【図7】エンコード装置内のエントロピーエンコード部を概略的に示す。
【図8】本文書の実施形態が適用可能なエントロピーデコード方法の一例を概略的に示す。
【図9】デコード装置内のエントロピーデコード部を概略的に示す。
【図10】コーディングされた映像／ビデオに対する階層構造を例示的に示す。
【図11】時間スケーラビリティをサポートするビットストリーム内のＮＡＬユニットに対する時間レイヤ構造を示す図である。
【図12】ランダムアクセスが可能なピクチャを説明するための図である。
【図13】ＩＤＲピクチャを説明するための図である。
【図14】ＣＲＡピクチャを説明するための図である。
【図15】本文書の実施形態が適用可能なビデオ／映像エンコード方法の一例を概略的に示す。
【図16】本文書の実施形態が適用可能なビデオ／映像デコード方法の一例を概略的に示す。
【図17】本文書の実施形態（ら）によるビデオ／映像エンコード方法及び関連コンポーネントの一例を概略的に示す。
【図18】本文書の実施形態（ら）によるビデオ／映像エンコード方法及び関連コンポーネントの一例を概略的に示す。
【図19】本文書の実施形態（ら）による映像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。
【図20】本文書の実施形態（ら）による映像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。
【図21】本文書において開示された実施形態が適用できるコンテンツストリーミングシステムの例を示す。
【発明を実施するための形態】
【0021】
本文書は、様々な変更を加えることができ、種々の実施形態を有することができ、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。
【0022】
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から外れない限り、本文書の権利範囲に含まれる。
【0023】
本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。言い換えると、本文書において、「Ａ又はＢ（Ａ ｏｒ Ｂ）」は、「Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）」と解釈され得る。例えば、本文書において、「Ａ、Ｂ又はＣ（Ａ， Ｂ ｏｒ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
【0024】
本文書で使用されるスラッシュ（／）や休止符（ｃｏｍｍａ）は、「及び／又は（ａｎｄ／ｏｒ）」を意味し得る。例えば、「Ａ／Ｂ」は、「Ａ及び／又はＢ」を意味し得る。これによって、「Ａ／Ｂ」は、「ただＡ」、「ただＢ」、又は「Ａ及びＢ両方」を意味し得る。例えば、「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ又はＣ」を意味し得る。
【0025】
本文書において、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「ただＡ」、「ただＢ」又は「Ａ及びＢ両方」を意味し得る。また、本文書において、「少なくとも一つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも一つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
【0026】
また、本文書において、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「ただＡ」、「ただＢ」、「ただＣ」、又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも一つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも一つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ／ｏｒ Ｃ）」は、「少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。
【0027】
また、本文書で使用される括弧は、「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本文書の「予測」は、「イントラ予測」に制限（ｌｉｍｉｔ）されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（即ち、イントラ予測）」と表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
【0028】
本文書は、ビデオ／映像コーディングに関する。例えば、本文書で開示された方法／実施例は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書で開示された方法／実施例は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）又は次世代ビデオ／映像コーディング標準（ｅｘ．２６７又はＨ．２６８等）に開示される方法に適用されることができる。
【0029】
本文書では、ビデオ／映像コーディングに関する多様な実施例を提示し、別の言及がない限り、前記実施例は互いに組み合わせて行うこともある。
【0030】
本文書において、ビデオ（ｖｉｄｅｏ）は時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味し得る。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは１つ以上のスライス／タイルで構成されてもよい。タイルはピクチャ内の特定のタイルの列及び特定のタイルの列以内のＣＴＵの四角領域である。前記タイルの列はＣＴＵの四角領域であり、前記四角領域は前記ピクチャの高さと同じ高さを有し、幅はピクチャパラメータセット内のシンタックス要素により明示され得る。前記タイルの行はＣＴＵの四角領域であり、前記四角領域はピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは前記ピクチャの高さと同じであってもよい。タイルスキャンはピクチャをパーティショニングするＣＴＵの特定の順次オーダーリングを示し得、前記ＣＴＵはタイル内のＣＴＵのラスタースキャンで連続して整列され得、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンで連続して整列され得る。スライスは単一のＮＡＬユニットに排他的に含まれ得る、整数個の完全なタイル又はピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含み得る。
【0031】
一方、１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域であり得る。
【0032】
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は映像）を構成する最小の単位を意味し得る。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されてもよい。サンプルは、一般的にピクセル又はピクセルの値を示し、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともあり、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともある。或いは、サンプルは、空間ドメインでのピクセル値を意味することもあり、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもある。
【0033】
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示し得る。ユニットは、ピクチャの特定領域及び当該領域に関する情報の少なくとも１つを含み得る。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含み得る。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用され得る。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行とからなるサンプル（またはサンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又はアレイ）を含み得る。
【0034】
また、本文書において、量子化／逆量子化及び／又は変換／逆変換の少なくとも１つは、省略され得る。量子化／逆量子化が省略される場合、量子化された変換係数は変換係数と呼ばれ得る。変換／逆変換が省略される場合、変換係数は、係数又はレジデュアル係数と呼ばれてもよく、又は、表現の統一性のために、依然として変換係数と呼ばれてもよい。
【0035】
本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれ得る。この場合、レジデュアル情報は、変換係数に関する情報を含み得、変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされ得る。レジデュアル情報（又は、変換係数に関する情報）に基づいて変換係数が導出され得、変換係数に対する逆変換（スケーリング）を介して、スケーリングされた変換係数が導出され得る。スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出され得る。これは本文書の他の部分でも同様に適用／表現されてもよい。
【0036】
本文書において、１つの図面内で個別的に説明される技術的特徴は、個別的に実現されてもよく、同時に実現されてもよい。
【0037】
以下、添付した図面を参照し、本文書の好ましい実施形態をより詳細に説明しようとする。以下、図面上の同じ構成要素については同じ参照符号を使用し、同じ構成要素について重複した説明は省略され得る。
【0038】
図１は、本文書の実施形態に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【0039】
図１に示すように、ビデオ／映像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を備えることができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達することができる。
【0040】
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を備えることができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを備えることができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に備えられることができる。受信機は、デコーディング装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
【0041】
ビデオソースは、ビデオ／映像のキャプチャ、合成、又は生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
【0042】
エンコード装置は、入力ビデオ／映像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
【0043】
送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／映像情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。
【0044】
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコードすることができる。
【0045】
レンダラーは、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
【0046】
図２は、本文書の実施例が適用できるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、エンコーディング装置というのは、映像エンコーディング装置及び／又はビデオエンコーディング装置を含むことができる。
【0047】
図２に示すように、エンコード装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
【0048】
映像分割部２１０は、エンコード装置２００に入力された入力映像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、又は、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
【0049】
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（又は、映像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用することができる。
【0050】
エンコーディング装置２００は、入力映像信号（原本ブロック、原本サンプルアレイ）でインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力映像信号（原本ブロック、原本サンプルアレイ）で予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、またはインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
【0051】
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上又はそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0052】
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
【0053】
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
【0054】
前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２含む）を介して生成された予測信号は、復元信号を生成するために用いられてもよく、レジデュアル信号を生成するために用いられてもよい。変換部２３２はレジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）の少なくとも１つを含み得る。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するというとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもあり、正方形ではない可変サイズのブロックに適用されることもある。
【0055】
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコーディング方法を行うことができる。エントロピーエンコーディング部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコーディング装置からデコーディング装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／映像情報に含まれることができる。前記ビデオ／映像情報は、上述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
【0056】
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0057】
一方、ピクチャエンコーディング及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0058】
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコーディング部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
【0059】
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置１００とデコーディング装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
【0060】
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
【0061】
図３は、本文書が適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図面である。
【0062】
図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
【0063】
ビデオ／映像情報を含むビットストリームが入力されれば、デコーディング装置３００は、図３のエンコーディング装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコーディング装置３００を介してデコーディング及び出力された復元映像信号は、再生装置を介して再生されることができる。
【0064】
デコーディング装置３００は、図３のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコーディングすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコーディング手順を介してデコーディングされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコーディング対象のシンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコーディングされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または受信部は、エントロピーデコーディング部３１０の構成要素であることもできる。一方、本文書に係るデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち、少なくとも１つを備えることができる。
【0065】
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0066】
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
【0067】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。
【0068】
予測部３２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくことができ、またはパレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／映像情報に含まれてシグナリングされることができる。
【0069】
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0070】
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
【0071】
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を備える）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
【0072】
加算部３４０は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、又は次のピクチャのインター予測のために使用されることもできる。
【0073】
一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0074】
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0075】
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。
【0076】
本明細書において、エンコーディング装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施形態等は、各々デコーディング装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。
【0077】
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同じく導出され、前記エンコード装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコード装置にシグナリングすることで映像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
【0078】
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換の手順を実行してレジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
【0079】
一方、前述したように、現在ブロックに対する予測を行うにあたって、イントラ予測又はインター予測を適用することができる。一実施形態として、現在ブロックにインター予測を適用する場合、エンコード／デコード装置の予測部（より具体的にインター予測部）は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（例えば、サンプル値、又は動き情報など）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、周辺ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。動き情報は、動きベクトル及び参照ピクチャインデックスを含み得る。動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含み得る。インター予測が適用される場合、周辺ブロックは現在ピクチャ内に存在する空間的周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含み得る。前記参照ブロックを含む参照ピクチャと前記時間的周辺ブロックを含む参照ピクチャとは同じであってもよく、異なってもよい。前記時間的周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名前で呼ばれ得、前記時間的周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）とも呼ばれ得る。例えば、現在ブロックの周辺ブロックに基づいて動き情報候補リストが構成され得、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされ得る。多様な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は選択された周辺ブロックの動き情報と同じであってもよい。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用いて、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、現在ブロックの動きベクトルを導出することができる。
【0080】
前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連する動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連する動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。
【0081】
図４は、本文書の実施形態が適用可能な概略的なビデオ／映像エンコード手順の例を示す。図４において、Ｓ４００は、図２で詳述したエンコード装置の予測部２２０で実行されることができ、Ｓ４１０は、レジデュアル処理部２３０で実行されることができ、Ｓ４２０は、エントロピーエンコード部２４０で実行されることができる。Ｓ４００は、本文書で説明されたインター／イントラ予測手順を含むことができ、Ｓ４１０は、本文書で説明されたレジデュアル処理手順を含むことができ、Ｓ４２０は、本文書で説明された情報のエンコード手順を含むことができる。
【0082】
図４を参照すると、ビデオ／映像エンコード手順は、図２に関する説明で示すように、概略的にピクチャの復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）をエンコードしてビットストリームの形態で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含み得る。エンコード装置は、逆量子化部２３４及び逆変換部２３５を介して量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、Ｓ４００の出力である予測サンプルと、前記（修正された）レジデュアルサンプルとに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、前述したデコード装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して修正された復元ピクチャが生成され、これは、復号ピクチャバッファ又はメモリ２７０に格納され、デコード装置での場合と同様に、以降のピクチャのエンコード時、インター予測手順で参照ピクチャとして使用され得る。前述したように、場合によって、前記インループフィルタリング手順の一部又は全部は省略され得る。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピーエンコード部２４０でエンコードされてビットストリームの形態で出力されることができ、デコード装置は、前記フィルタリング関連情報に基づいてエンコード装置と同じ方法でインループフィルタリング手順を行うことができる。
【0083】
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画のコーディング時に発生するノイズを減らすことができ、主観的／客観的ビジュアルの品質を高めることができる。また、エンコード装置とデコード装置で、両方ともインループフィルタリング手順を行うことによって、エンコード装置とデコード装置は同じ予測結果を導出することができ、ピクチャコーディングの信頼性を高めて、ピクチャコーディングのために送信されなければならないデータ量を減らすことができる。
【0084】
前述したように、デコード装置だけでなく、エンコード装置でもピクチャ復元手順が行われる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成され、復元ブロックを含む復元ピクチャが生成され得る。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元され得る。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元され得る。この場合、現在ピクチャ／スライス／タイルグループ内の一部ブロックに対してはインター予測が適用され、残りの一部ブロックに対してはイントラ予測が適用されてもよい。ピクチャのカラー成分はルマ成分及びクロマ成分を含んでもよく、本文書で明示的に制限しない限り、本文書で提案される方法及び実施形態は、ルマ成分及びクロマ成分に適用され得る。
【0085】
図５は、本文書の実施形態が適用可能な概略的なビデオ／映像デコード手順の例を示す。図５において、Ｓ５００は、図３で詳述したデコード装置のエントロピーデコード部３１０で実行されることができ、Ｓ５１０は、予測部３３０で実行されることができ、Ｓ５２０は、レジデュアル処理部３２０で実行されることができ、Ｓ５３０は、加算部３４０で実行されることができ、Ｓ５４０は、フィルタリング部３５０で実行されることができる。Ｓ５００は、本文書で説明された情報のデコード手順を含むことができ、Ｓ５１０は、本文書で説明されたインター／イントラ予測手順を含むことができ、Ｓ５２０は、本文書で説明されたレジデュアル処理手順を含むことができ、Ｓ５３０は、本文書で説明されたブロック／ピクチャの復元手順を含むことができ、Ｓ５４０は、本文書で説明されたインループフィルタリング手順を含むことができる。
【0086】
図５を参照すると、ピクチャのデコード手順は、図３に関する説明で示すように概略的にビットストリームから（デコードを介した）映像／ビデオ情報取得手順（Ｓ５００）、ピクチャ復元手順（Ｓ５１０～Ｓ５３０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ５４０）を含むことができる。前記ピクチャ復元手順は、本文書で説明されたインター／イントラ予測（Ｓ５１０）及びレジデュアル処理（Ｓ５２０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル、及びレジデュアルサンプルに基づいて実行できる。前記ピクチャの復元手順を介して生成された復元ピクチャに対するインループフィルタリング手順を介して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャが生成され、前記修正された復元ピクチャがデコードされたピクチャとして出力され、また、デコード装置の復号ピクチャバッファ又はメモリ３６０に格納され、以降のピクチャのデコード時、インター予測手順で参照ピクチャとして使用され得る。
【0087】
場合によって、前記インループフィルタリング手順は省略されてもよく、この場合、前記復元ピクチャがデコードされたピクチャとして出力され、また、デコード装置の復号ピクチャバッファ又はメモリ３６０に格納され、以降のピクチャのデコード時、インター予測手順で参照ピクチャとして使用され得る。前記インループフィルタリング手順（Ｓ５４０）は、前述したようにデブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含み得、その一部又は全部が省略され得る。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの１つ又は一部が順次適用されてもよく、或いは全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が実行され得る。或いは、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が実行され得る。これは、エンコード装置でも同様に実行され得る。
【0088】
一方、前述した内容のように、エンコード装置は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコード方法に基づいて、エントロピーエンコードを実行することができる。また、デコード装置は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいて、エントロピーデコードを実行することができる。以下では、エントロピーエンコード／デコード手順に関して説明する。
【0089】
図６は、本文書の実施形態が適用可能なエントロピーエンコード方法の一例を概略的に示し、図７は、エンコード装置内のエントロピーエンコード部を概略的に示す。図７のエンコード装置内のエントロピーエンコード部は、前述した図２のエンコード装置２００のエントロピーエンコード部２４０にも同一又は対応するように適用可能である。
【0090】
図６及び図７を参照すると、エンコード装置（エントロピーエンコード部）は、映像／ビデオ情報に関するエントロピーコーディング手順を実行することができる。映像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報等）、レジデュアル情報、インループフィルタリング関連情報などを含み得、又はそれに関する多様なシンタックス要素を含み得る。エントロピーコーディングは、シンタックス要素の単位で実行できる。Ｓ６００乃至Ｓ６１０は、前述した図２のエンコード装置２００のエントロピーエンコード部２４０により実行できる。
【0091】
エンコード装置は、対象のシンタックス要素に対する二進化を実行できる（Ｓ６００）。ここで、二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ、Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な二進化方法に基づき、対象のシンタックス要素に対する二進化方法は、予め定義され得る。二進化手順は、エントロピーエンコード部２４０内の二進化部２４２により実行できる。
【0092】
エンコード装置は、対象のシンタックス要素に対するエントロピーエンコードを実行できる（Ｓ６１０）。エンコード装置は、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）又はＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）などのエントロピーコーディング技法に基づいて、対象のシンタックス要素のビンストリング（ｂｉｎ ｓｔｒｉｎｇ）を正規コーディングに基づいて（コンテキストに基づいて）、又はバイパスコーディングに基づいてエンコードでき、その出力はビットストリームに含まれ得る。エントロピーエンコード手順は、エントロピーエンコード部２４０内のエントロピーエンコード処理部２４３により実行されることができる。ビットストリームは、（デジタル）格納媒体又はネットワークを介してデコード装置に伝達できることは前述した通りである。
【0093】
図８は、本文書の実施形態が適用可能なエントロピーデコード方法の一例を概略的に示し、図９は、デコード装置内のエントロピーデコード部を概略的に示す。図９のデコード装置内のエントロピーデコード部は、前述した図３のデコード装置３００のエントロピーデコード部３１０にも同一又は対応するように適用され得る。
【0094】
図８及び図９を参照すると、デコード装置（エントロピーデコード部）はエンコードされた映像／ビデオ情報をデコードできる。映像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報など）、レジデュアル情報、インループフィルタリング関連情報などを含み得、又はそれに関する多様なシンタックス要素を含み得る。エントロピーコーディングは、シンタックス要素の単位で実行できる。Ｓ８００乃至Ｓ８１０は、前述した図３のデコード装置３００のエントロピーデコード部３１０により実行できる。
【0095】
デコード装置は、対象のシンタックス要素に対する二進化を実行できる（Ｓ８００）。ここで、二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ， Ｆｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなどの多様な二進化方法に基づき、対象のシンタックス要素に対する二進化方法は、予め定義され得る。デコード装置は、二進化手順を介して対象のシンタックス要素の可用値に対する可用のビンストリング（ビンストリング候補）を導出することができる。二進化手順は、エントロピーデコード部３１０内の二進化部３１２により実行できる。
【0096】
デコード装置は、対象のシンタックス要素に対するエントロピーデコードを実行できる（Ｓ８１０）。デコード装置は、ビットストリーム内の入力ビットから対象のシンタックス要素に対する各ビンを順次にデコード及びパーシングするとともに、導出されたビンストリングを当該シンタックス要素に対する可用のビンストリングと比較する。もし、導出されたビンストリングが可用のビンストリングのうちの１つと同一であれば、当該ビンストリングに対応する値が当該シンタックス要素の値として導出され得る。もし、そうでなければ、ビットストリーム内の次のビットをさらにパーシングの後、前述した手順を再実行できる。このような過程を介して、ビットストリーム内に特定の情報（特定のシンタックス要素）に対するスタートビットやエンドビットを使用しなくても、可変長さのビットを用いて当該情報をシグナリングできる。これを介して、低い値に対しては相対的にさらに少ないビットを割り当てることができ、全般的なコーディング効率を高めることができる。
【0097】
デコード装置は、ＣＡＢＡＣ又はＣＡＶＬＣなどのエントロピーコーディング技法に基づいて、ビットストリームからビンストリング内の各ビンをコンテキストに基づいて、又はバイパスに基づいてデコードできる。ここで、ビットストリームは、前述したように映像／ビデオデコードのための多様な情報を含み得る。ビットストリームは、（デジタル）格納媒体又はネットワークを介してデコード装置に伝達できることは前述した通りである。
【0098】
図１０は、コーディングされた映像／ビデオに対する階層構造を例示的に示す。
【0099】
図１０を参照すると、コーディングされた映像／ビデオは、映像／ビデオのデコード処理、及びそれ自体を取り扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、並びにＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。
【0100】
ＶＣＬでは、圧縮された映像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）等の情報を含むパラメータセット又は映像のデコード過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
【0101】
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダには、当該ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含み得る。
【0102】
また、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰのよってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分できる。ＶＣＬ ＮＡＬユニットは、映像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味し得、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像をデコードするために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味し得る。
【0103】
ＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態に変形されて多様なネットワークを介して送信されることができる。
【0104】
前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。
【0105】
例えば、ＮＡＬユニットが映像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
【0106】
下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例である。
【0107】
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
【0108】
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
【0109】
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ
【0110】
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
【0111】
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ
【0112】
－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ
【0113】
前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。
【0114】
一方、前述したように、１つのピクチャは複数のスライスを含んでもよく、１つのスライスはスライスヘッダ及びスライスデータを含んでもよい。この場合、１つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータの集合）に対して１つのピクチャヘッダがさらに付加されてもよい。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通して適用できる情報／パラメータを含み得る。本文書において、タイルグループはスライス又はピクチャに混用又は代替され得る。また、本文書において、タイルグループヘッダはスライスヘッダ又はピクチャヘッダに混用又は代替され得る。
【0115】
スライスヘッダ（スライスヘッダシンタックス）はスライスに共通して適用できる情報／パラメータを含み得る。ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライス又はピクチャに共通して適用できる情報／パラメータを含み得る。ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通して適用できる情報／パラメータを含み得る。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通して適用できる情報／パラメータを含み得る。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通して適用できる情報／パラメータを含み得る。ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連した情報／パラメータを含み得る。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスの少なくとも１つを含み得る。
【0116】
本文書において、エンコード装置からデコード装置にエンコードされてビットストリームの形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、スライスヘッダに含まれている情報、ピクチャヘッダに含まれている情報、ＡＰＳに含まれている情報、ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含み得る。また、前記映像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含み得る。
【0117】
前述したように、ＨＬＳ（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）は、ビデオ／映像コーディングのためにコーディング／シグナリングされることができる。本文書において、ビデオ／映像情報はＨＬＳを含み得る。例えば、コーディングされるピクチャは、１つ以上のスライスで構成されることができる。コーディングされるピクチャを記述するパラメータはピクチャヘッダ（ＰＨ）内でシグナリングされ、スライスを記述するパラメータはスライスヘッダ（ＳＨ）内でシグナリングされることができる。ＰＨは自分のＮＡＬユニットタイプに送信され得る。ＳＨはスライス（すなわち、スライスデータ）のペイロードを含むＮＡＬユニットのスタート部分に存在し得る。ＰＨ及びＳＨのシンタックス及びセマンティクスに関する詳しい内容は、ＶＶＣ標準で開示されている通りである。各ピクチャはＰＨと関連し得る。ピクチャはイントラコーディングされたスライス（すなわち、Ｉスライス）及びインターコーディングされたスライス（すなわち、Ｐ－スライス及びＢ－スライス）である互いに異なるタイプのスライスで構成され得る。結果として、ＰＨはピクチャのイントラスライス及びピクチャのインタースライスに必要なシンタックス要素を含み得る。
【0118】
一方、一般的に１つのＮＡＬユニットタイプは１つのピクチャに対して設定されることができる。ＮＡＬユニットタイプは、スライスを含むＮＡＬユニットのＮＡＬユニットヘッダでｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを介してシグナリングされることができる。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＮＡＬユニットタイプを特定するためのシンタックス情報であって、すなわち、下記の表１又は表２に示すように、ＮＡＬユニットに含まれたＲＢＳＰデータ構造のタイプを特定することができる。
【0119】
次の表１は、ＮＡＬユニットタイプのコード及びＮＡＬユニットタイプのクラスの一例を示す。
【0120】
【表1】
【0121】
或いは、一例として、次の表２のようにＮＡＬユニットタイプのコード及びＮＡＬユニットタイプのクラスが定義されることもできる。
【0122】
【表2-1】
【0123】
【表2-2】
【0124】
前記表１又は表２に示すように、ＮＡＬユニットに含まれるＲＢＳＰデータ構造によって、ＮＡＬユニットタイプの名称及びその値が特定でき、ＮＡＬユニットが映像に対する情報（スライスデータ）を含むかどうかによって、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類できる。ＶＣＬ ＮＡＬユニットタイプは、ピクチャの性質及び種類などに応じて分類でき、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などに応じて分類できる。例えば、次のようにＶＣＬ ＮＡＬユニットに含まれるピクチャの性質及び種類に応じて、ＮＡＬユニットタイプが特定できる。
【0125】
ＴＲＡＩＬ：トレーリングピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＴＲＡＩＬ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は０と特定できる。
【0126】
ここで、トレーリングピクチャは出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）及びデコード順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）においてランダムアクセス（ｒａｎｄｏｍ ａｃｃｅｓｓ）可能なピクチャに後行するピクチャをいう。トレーリングピクチャは出力順序において関連したＩＲＡＰピクチャに後行し、ＳＴＳＡピクチャではない非－ＩＲＡＰピクチャであり得る。例えば、ＩＲＡＰピクチャと関連した（ａｓｓｏｃｉａｔｅｄ）トレーリングピクチャは、デコード順序においてＩＲＡＰピクチャに後行する。出力順序において関連するＩＲＡＰピクチャに後行し、デコード順序において関連するＩＲＡＰピクチャに先行するピクチャは許容されない。
【0127】
ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂ－ｌａｙｅｒ Ａｃｃｅｓｓ）：ＳＴＳＡピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＳＴＳＡ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は１と特定できる。
【0128】
ここで、ＳＴＳＡピクチャは時間スケーラビリティをサポートするビットストリームで時間サブレイヤ間のスイッチングが可能なピクチャであって、下位のサブレイヤで、下位のサブレイヤより一段階高い上位のサブレイヤにアップスイッチングが可能な位置を指示するピクチャである。ＳＴＳＡピクチャは、インター予測の参照のためにＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄ及び同じレイヤにあるピクチャを使用しない。デコード順序上で、ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄ及び同じレイヤにあるＳＴＳＡピクチャに後行するピクチャは、インター予測の参照のためにデコード順序上でＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩｄ及び同じレイヤにあるＳＴＳＡピクチャ以前のピクチャを使用しない。ＳＴＳＡピクチャはＳＴＳＡピクチャで、直ぐに下位のサブレイヤでＳＴＳＡピクチャを含むサブレイヤにアップスイッチングを可能にする。この場合、コーディングされるピクチャが最下位のサブレイヤに属してはならない。すなわち、ＳＴＳＡピクチャは、常時０より大きいＴｅｍｐｏｒａｌＩｄを有さなければならない。
【0129】
ＲＡＤＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｄｅｃｏｄａｂｌｅ ｌｅａｄｉｎｇ （ｐｉｃｔｕｒｅ））：ＲＡＤＬピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＲＡＤＬ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は２と特定できる。
【0130】
ここで、全てのＲＡＤＬピクチャは、リーディングピクチャ（ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅ）である。ＲＡＤＬピクチャは同一の関連するＩＲＡＰピクチャのトレーリングピクチャのデコード過程のための参照ピクチャとして使用されない。具体的に、ｌａｙｅｒＩｄのようなｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するＲＡＤＬピクチャは、出力順序上でＲＡＤＬピクチャと関連したＩＲＡＰピクチャに後行するピクチャとしてｌａｙｅｒＩｄのようなｎｕｈ＿ｌａｙｅｒ＿ｉｄを有するピクチャのデコード過程のための参照ピクチャとして使用されない。ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇ（すなわち、ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇ）が０である場合、全てのＲＡＤＬピクチャは（すなわち、ＲＡＤＬピクチャが存在する場合）デコード順序で同一の関連するＩＲＡＰピクチャの全ての非（ｎｏｎ）－リーディングピクチャに先行する。一方、リーディングピクチャとは、出力順序上で関連するＩＲＡＰピクチャに先行するピクチャをいう。
【0131】
ＲＡＳＬ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｓｋｉｐｐｅｄ ｌｅａｄｉｎｇ（ｐｉｃｔｕｒｅ））：ＲＡＳＬピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＲＡＳＬ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は３と特定できる。
【0132】
ここで、全てのＲＡＳＬピクチャは、関連するＣＲＡピクチャのリーディングピクチャである。関連するＣＲＡピクチャが、その値が１であるＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇを有する場合、ＲＡＳＬピクチャがビットストリームに存在しないピクチャに対する参照を含み得るので、ＲＡＳＬピクチャは出力されず正確にデコードされないことがある。ＲＡＳＬピクチャは同じレイヤの非－ＲＡＳＬピクチャのデコード過程のための参照ピクチャとして使用されない。但し、同じレイヤのＲＡＳＬピクチャでのＲＡＤＬサブピクチャが、ＲＡＳＬピクチャと同じＣＲＡピクチャと関連するＲＡＤＬピクチャでのｃｏｌｌｏｃａｔｅｄ ＲＡＤＬサブピクチャに対するインター予測のために使用されることはできる。ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇ（すなわち、ｓｐｓ＿ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇ）が０である場合、全てのＲＡＳＬピクチャは（すなわち、ＲＡＳＬピクチャが存在する場合）デコード順序で同一の関連するＣＲＡピクチャの全ての非－リーディングピクチャに先行する。
【0133】
非－ＩＲＡＰ ＶＣＬ ＮＡＬユニットタイプのための予約されたｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがあり得る。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＲＳＶ＿ＶＣＬ＿４乃至ＲＳＶ＿ＶＣＬ＿６と定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は各々４乃至６と特定できる。
【0134】
ここで、ＩＲＡＰ（ｉｎｔｒａ ｒａｎｄｏｍ ａｃｃｅｓｓ ｐｏｉｎｔ）は、ランダムアクセスが可能なピクチャに対するＮＡＬユニットを示す情報である。ＩＲＡＰピクチャは、ＣＲＡピクチャ又はＩＤＲピクチャになり得る。例えば、ＩＲＡＰピクチャは前記表１又は表２のように、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅがＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵと定義されたＮＡＬユニットタイプを有するピクチャをいい、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は各々７乃至９と特定できる。
【0135】
ＩＲＡＰピクチャは、デコード過程でインター予測のために同じレイヤにある参照ピクチャを使用しない。言い換えると、ＩＲＡＰピクチャはデコード過程でインター予測のために自分以外の他のピクチャを参照しない。デコード順序上、ビットストリーム内の一番目のピクチャは、ＩＲＡＰ又はＧＤＲピクチャになる。単一レイヤ（ｓｉｎｇｌｅ－ｌａｙｅｒ）のビットストリームに対して、参照すべき必要がある場合に必要なパラメータセットが利用可能であると、デコード順序でＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の全ての後行する非－ＲＡＳＬピクチャ及びＩＲＡＰピクチャは、デコード順序でＩＲＡＰピクチャに先行するピクチャのデコード過程を行わなくても、正確にデコードできる。
【0136】
ＩＲＡＰピクチャに対するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は０である。ピクチャに対するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ピクチャ内の１つのスライスはＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が７乃至９）の範囲内にあるＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有し得、ピクチャ内の他のスライスはいずれも同じＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有し得る。この場合、ピクチャはＩＲＡＰピクチャとみなされ得る。
【0137】
ＩＤＲ（ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）：ＩＤＲピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ＩＤＲピクチャ／サブピクチャに対するｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は各々７又は８と特定できる。
【0138】
ここで、ＩＤＲピクチャはデコード過程でインター予測を使用せず（すなわち、インター予測のために自分以外の他のピクチャを参照せず）、ビットストリーム内でデコード順序上、一番目のピクチャになるか、ビットストリームで後で（すなわち、一番目ではない後で）示され得る。各ＩＤＲピクチャは、デコード順序でＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の一番目のピクチャである。例えば、ＩＤＲピクチャがデコード可能なリーディングピクチャと関連性を有すると、ＩＤＲピクチャのＮＡＬユニットタイプはＩＤＲ＿Ｗ＿ＲＡＤＬで示してもよく、ＩＤＲピクチャがリーディングピクチャと関連性がないと、ＩＤＲピクチャのＮＡＬユニットタイプはＩＤＲ＿Ｎ＿ＬＰで示してもよい。すなわち、ＮＡＬユニットタイプがＩＤＲ＿Ｗ＿ＲＡＤＬであるＩＤＲピクチャは、ビットストリーム内に存在する関連するＲＡＳＬピクチャを有し得ないが、ビットストリーム内の関連するＲＡＤＬピクチャを有し得る。ＮＡＬユニットタイプがＩＤＲ＿Ｎ＿ＬＰであるＩＤＲピクチャは、ビットストリーム内に存在する関連するリーディングピクチャを有さない。
【0139】
ＣＲＡ（ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）：ＣＲＡピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＣＲＡ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は９と特定できる。
【0140】
ここで、ＣＲＡピクチャはデコード過程でインター予測を使用せず（すなわち、インター予測のために自分以外の他のピクチャを参照せずに）、ビットストリーム内でデコード順序上、一番目のピクチャになるか、ビットストリームで後で（すなわち、一番目ではない後で）示され得る。ＣＲＡピクチャはビットストリーム内に存在する関連するＲＡＤＬ又はＲＡＳＬピクチャを有し得る。ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇの値が１であるＣＲＡピクチャに対して、関連するＲＡＳＬピクチャがデコーダにより出力されないことがある。何故なら、ビットストリーム内に存在しないピクチャに対して参照を含み得るので、この場合、デコードできないためである。
【0141】
ＧＤＲ（ｇｒａｄｕａｌ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）：ＧＤＲピクチャ／サブピクチャのコーディングされるスライスデータを含むＮＡＬユニットに対するタイプを示す。例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅはＧＤＲ＿ＮＵＴと定義でき、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値は１０と特定できる。
【0142】
ここで、ＧＤＲピクチャに対するｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は０であり得る。ピクチャに対してｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０であり、ピクチャ内の１つのスライスがＧＤＲ＿ＮＵＴのＮＡＬユニットタイプを有する場合、ピクチャ内の他のスライスはいずれも同一のＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値を有し、この場合、ピクチャは一番目のスライスを受信した後、ＧＤＲピクチャになり得る。
【0143】
また、例えば、Ｎｏｎ－ＶＣＬ ＮＡＬユニットに含まれるパラメータの種類に応じて、ＮＡＬユニットタイプが特定でき、前記表１又は表２に示すように、ビデオパラメータセットを含むＮＡＬユニットに対するタイプを示すＶＰＳ＿ＮＵＴ、シーケンスパラメータセットを含むＮＡＬユニットに対するタイプを示すＳＰＳ＿ＮＵＴ、ピクチャパラメータセットを含むＮＡＬユニットに対するタイプを示すＰＰＳ＿ＮＵＴ、ピクチャヘッダを含むＮＡＬユニットに対するタイプを示すＰＨ＿ＮＵＴなどのＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含み得る。
【0144】
一方、時間スケーラビリティをサポートするビットストリーム（又は時間スケーラブルビットストリーム、ｔｅｍｐｏｒａｌ ｓｃａｌａｂｌｅ ｂｉｔｓｔｒｅａｍ）は、時間的にスケールされる時間レイヤ（Ｔｅｍｐｏｒａｌ ｌａｙｅｒ）に対する情報を含む。時間レイヤに対する情報は、ＮＡＬユニットの時間スケーラビリティによって特定された時間レイヤの識別情報であり得る。例えば、時間レイヤの識別情報はｔｅｍｐｏｒａｌ＿ｉｄシンタックス情報を用いることができ、前記ｔｅｍｐｏｒａｌ＿ｉｄシンタックス情報はエンコード装置でＮＡＬユニットヘッダに格納され、デコード装置にシグナリングされることができる。以下、本明細書において、時間レイヤはサブレイヤ（Ｓｕｂ－ｌａｙｅｒ）又は時間サブレイヤ（Ｔｅｍｐｏｒａｌ Ｓｕｂ－ｌａｙｅｒ）又は時間スケーラブルレイヤ（Ｔｅｍｐｏｒａｌ Ｓｃａｌａｂｌｅ ｌａｙｅｒ）などと称されてもよい。
【0145】
図１１は、時間スケーラビリティをサポートするビットストリーム内のＮＡＬユニットに対する時間レイヤ構造を示した図である。
【0146】
ビットストリームが時間スケーラビリティをサポートする場合、ビットストリームに含まれたＮＡＬユニットは、時間レイヤの識別情報（例えば、ｔｅｍｐｏｒａｌ＿ｉｄ）を有する。一例として、ｔｅｍｐｏｒａｌ＿ｉｄ値が０であるＮＡＬユニットで構成された時間レイヤが最も低い時間スケーラビリティを提供することができ、ｔｅｍｐｏｒａｌ＿ｉｄ値が２であるＮＡＬユニットで構成された時間レイヤが最も高い時間スケーラビリティを提供することができる。
【0147】
図１１において、Ｉで表記されているボックスはＩピクチャをいい、Ｂで表記されているボックスはＢピクチャをいう。また、矢印は、ピクチャが他のピクチャを参照するかどうかに対する参照関係を示す。
【0148】
図１１に示すように、ｔｅｍｐｏｒａｌ＿ｉｄ値が０である時間レイヤのＮＡＬユニットは、ｔｅｍｐｏｒａｌ＿ｉｄ値が０、１又は２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャである。ｔｅｍｐｏｒａｌ＿ｉｄ値が１である時間レイヤのＮＡＬユニットは、ｔｅｍｐｏｒａｌ＿ｉｄ値が１又は２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャである。ｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤのＮＡＬユニットは、同じ時間レイヤ、すなわち、ｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤのＮＡＬユニットが参照できる参照ピクチャであってもよく、又は他のピクチャにより参照されない非参照ピクチャであってもよい。
【0149】
もし、図１１に示すように、ｔｅｍｐｏｒａｌ＿ｉｄ値が２である時間レイヤ、すなわち、最上位の時間レイヤのＮＡＬユニットが非参照ピクチャである場合、このようなＮＡＬユニットはデコード過程で他のピクチャに影響を与えずにビットストリームから抽出（ｅｘｔｒａｃｔｉｏｎ、又は除去）されることができる。
【0150】
一方、前述したＮＡＬユニットタイプのうちＩＤＲ、ＣＲＡタイプは、ランダムアクセス（又はスプライシング、ｓｐｌｉｃｉｎｇ）が可能なピクチャ、すなわち、ランダムアクセスポイントになるＲＡＰ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）又はＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャを含むＮＡＬユニットを示す情報である。言い換えると、ＩＲＡＰピクチャはＩＤＲ、ＣＲＡピクチャになり得、Ｉスライスのみ含み得る。ビットストリームでデコード順序上、一番目のピクチャはＩＲＡＰピクチャになる。
【0151】
もし、ビットストリーム内のＩＲＡＰピクチャ（ＩＤＲ、ＣＲＡピクチャ）が含まれている場合、ＩＲＡＰピクチャより出力順序は先行するが、デコード順序は後行するピクチャが存在し得る。このようなピクチャは、リーディングピクチャ（Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ、ＬＰ）という。
【0152】
図１２は、ランダムアクセスが可能なピクチャを説明するための図である。
【0153】
ランダムアクセスが可能なピクチャ、すなわち、ランダムアクセスポイントになるＲＡＰ又はＩＲＡＰピクチャは、ランダムアクセスの際、ビットストリームでデコード順序上、一番目のピクチャであり、Ｉスライスのみを含む。
【0154】
図１２にはピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ又はｄｉｓｐｌａｙ ｏｒｄｅｒ）とデコード順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）が図示されている。示すように、ピクチャの出力順序とデコード順序は互いに異なってもよい。便宜上、ピクチャは所定のグループに区分して説明される。
【0155】
第１グループ（Ｉ）に属するピクチャは、ＩＲＡＰピクチャより出力順序及びデコード順序のすべてで先行するピクチャを示し、第２グループ（ＩＩ）に属するピクチャは、ＩＲＡＰピクチャより出力順序は先行するが、デコード順序は後行するピクチャを示す。第３グループ（ＩＩＩ）のピクチャは、ＩＲＡＰピクチャより出力順序及びデコード順序で全て後行する。
【0156】
第１グループ（Ｉ）のピクチャはＩＲＡＰピクチャと関係なくデコードされて出力されることができる。
【0157】
ＩＲＡＰピクチャに先行して出力される第２グループ（ＩＩ）に属するピクチャをリーディングピクチャといい、リーディングピクチャは、ＩＲＡＰピクチャがランダムアクセスポイントに使用される場合、デコード過程で問題になることがある。
【0158】
出力及びデコード順序がＩＲＡＰピクチャに後行する第３グループ（ＩＩＩ）に属するピクチャをノーマルピクチャ（ｎｏｒｍａｌ ｐｉｃｔｕｒｅ）という。ノーマルピクチャは、リーディングピクチャの参照ピクチャとして使用されない。
【0159】
ビットストリームでランダムアクセスが発生するランダムアクセスポイントは、ＩＲＡＰピクチャになり、第２グループ（ＩＩ）の一番目のピクチャが出力されながら、ランダムアクセスが始まる。
【0160】
図１３は、ＩＤＲピクチャを説明するための図である。
【0161】
ＩＤＲピクチャは、ピクチャのグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）が閉じた（ｃｌｏｓｅｄ）構造を有するとき、ランダムアクセスポイントになるピクチャである。ＩＤＲピクチャは、前述したようにＩＲＡＰピクチャであるため、Ｉスライスのみを含み、ビットストリームでデコード順序上、一番目のピクチャになることもあり、ビットストリームの中間にくることもある。ＩＤＲピクチャがデコードされると、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）に格納されている全ての参照ピクチャは「ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ」で表示される。
【0162】
図１３に示している棒はピクチャを示し、矢印は、ピクチャが他のピクチャを参照ピクチャとして用いることができるかどうかに対する参照関係を示す。矢印上に表示されているｘマークは、当該ピクチャが矢印の指すピクチャを参照できないことを示す。
【0163】
示すように、ＰＯＣが３２であるピクチャはＩＤＲピクチャである。ＰＯＣが２５ 乃至３１であり、ＩＤＲピクチャに先行して出力されるピクチャはリーディングピクチャ１３１０である。ＰＯＣが３３以上であるピクチャは、ノーマルピクチャ１３２０に該当する。
【0164】
出力順序上、ＩＤＲピクチャに先行するリーディングピクチャ１３１０は、ＩＤＲピクチャと他のリーディングピクチャを参照ピクチャとして用いることができるが、出力順序及びデコード順序上、リーディングピクチャ１３１０に先行する過去ピクチャ１３３０を参照ピクチャとして用いることができない。
【0165】
出力順序及びデコード順序上、ＩＤＲピクチャに後行するノーマルピクチャ１３２０は、ＩＤＲピクチャ、リーディングピクチャ、及び他のノーマルピクチャを参照してデコードされることができる。
【0166】
図１４は、ＣＲＡピクチャを説明するための図である。
【0167】
ＣＲＡピクチャは、ピクチャのグループ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）が開かれた（ｏｐｅｎ）構造を有するとき、ランダムアクセスポイントになるピクチャである。前述したように、ＣＲＡピクチャもやはりＩＲＡＰピクチャであるため、Ｉスライスのみを含み、ビットストリームでデコード順序上、一番目のピクチャになることもあり、ノーマルプレーのためにビットストリームの中間にくることもある。
【0168】
図１４に示している棒はピクチャを示し、矢印は、ピクチャが他のピクチャを参照ピクチャとして用いることができるかどうかに対する参照関係を示す。矢印上に表示されているｘマークは、当該ピクチャ又はピクチャが矢印の指すピクチャを参照できないことを示す。
【0169】
出力順序上、ＣＲＡピクチャに先行するリーディングピクチャ１４１０は、ＣＲＡピクチャ、他のリーディングピクチャ、及び出力順序並びにデコード順序上、リーディングピクチャ１４１０に先行する過去ピクチャ１４３０の全てを参照ピクチャとして用いることができる。
【0170】
反面、出力順序及びデコード順序上、ＣＲＡピクチャに後行するノーマルピクチャ１４２０は、ＣＲＡピクチャと他のノーマルピクチャを参照してデコードされることができる。ノーマルピクチャ１４２０は、リーディングピクチャ１４１０を参照ピクチャとして用いないこともある。
【0171】
一方、ＶＶＣ標準では、コーディングされるピクチャ（すなわち、現在ピクチャ）が他のＮＡＬユニットタイプのスライスを含むようにできる。現在ピクチャが他のＮＡＬユニットタイプのスライスを含むかどうかは、シンタックス要素ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇに基づいて示し得る。例えば、現在ピクチャが他のＮＡＬユニットタイプのスライスを含む場合、シンタックス要素ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は１で示し得る。このとき、現在ピクチャは１の値を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含むＰＰＳを参照しなければならない。前記フラグ（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）のセマンティクスは次の通りである。
【0172】
シンタックス要素ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合には、ＰＰＳを参照する各ピクチャが１つ以上のＶＣＬ ＮＡＬユニットを有し、ＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有さず、ピクチャがＩＲＡＰピクチャではないことを示し得る。
【0173】
シンタックス要素ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合には、ＰＰＳを参照する各ピクチャが１つ以上のＶＣＬ ＮＡＬユニットを有し、ＰＰＳを参照する各ピクチャのＶＣＬ ＮＡＬユニットが同じ値のＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有することを示し得る。
【0174】
ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇの値が１である場合、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値は０でなければならない。ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素は、ピクチャに対するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０でなければならないかに関する制約条件を示す。例えば、上位レベルシンタックス（例えば、ＰＰＳ）又は制約条件に関する情報を含むシンタックス（例えば、ＧＣＩ；ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔｓ ｉｎｆｏｒｍａｔｉｏｎ）からシグナリングされるｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ情報に基づいて、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０でなければならないかどうかを決定できる。
【0175】
他の値のＮＡＬユニットタイプを有する１つ以上のスライスも含むピクチャｐｉｃＡで（すなわち、ピクチャｐｉｃＡに対するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合）、ＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が７乃至９）の範囲内のＮＡＬユニットタイプ値ｎａｌＵｎｉｔＴｙｐｅＡを有する各スライスについて、次のように適用できる。
【0176】
－ スライスは、対応するｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値が１であるサブピクチャｓｕｂｐｉｃＡに属さなければならない。ここで、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、ＣＬＶＳで各コーディングされるピクチャのｉ番目のサブピクチャがインループフィルタリング動作を除いたデコード過程でピクチャとして取り扱われるかに関する情報である。例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値が１である場合、ｉ番目のサブピクチャがインループフィルタリング動作を除いたデコード過程でピクチャとして取り扱われることを示し得る。或いは、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値が０である場合、ｉ番目のサブピクチャがインループフィルタリング動作を除いたデコード過程でピクチャとして取り扱われないことを示し得る。
【0177】
－ スライスは、ｎａｌＵｎｉｔＴｙｐｅＡと同一ではないＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有するＶＣＬ ＮＡＬユニットを含むｐｉｃＡのサブピクチャに属してはならない。
【0178】
－ デコード順序で、ＣＬＶＳ内の後行する全てのＰＵに対して、ｓｕｂｐｉｃＡ内のスライスのＲｅｆＰｉｃＬｉｓｔ［０］又はＲｅｆＰｉｃＬｉｓｔ［１］は、活性エントリー（ａｃｔｉｖｅ ｅｎｔｒｙ）でデコード順序上、ｐｉｃＡに先行するピクチャを含まないべきである。
【0179】
前述したようなコンセプトを動作させるために、次のように指定できる。例えば、特定のピクチャのＶＣＬ ＮＡＬユニットについて、次のように適用できる。
【0180】
－ ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値は、ピクチャ内の全てのコーディングされるスライスＮＡＬユニットに対して同一でなければならない。ピクチャ又はＰＵは、ピクチャ又はＰＵ内のコーディングされるスライスＮＡＬユニットと同じＮＡＬユニットタイプを有するものとみなされ得る。
【0181】
－ そうでない場合（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合）、１つ以上のＶＣＬ ＮＡＬユニットはいずれもＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が７乃至９）の範囲内で特定値のＮＡＬユニットタイプを有さなければならず、他のＶＣＬ ＮＡＬユニットはいずれもＴＲＡＩＬ＿ＮＵＴからＲＳＶ＿ＶＣＬ＿６まで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が０乃至６）の範囲内で特定値のＮＡＬユニットタイプを有さなければならないか、又はＧＲＡ＿ＮＵＴと同じＮＡＬユニットタイプを有さなければならない。
【0182】
現在ＶＶＣ標準では、混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するピクチャの場合、少なくとも次のような問題があり得る。
【0183】
１．ピクチャがＩＤＲ及び非（ｎｏｎ）－ＩＲＡＰ ＮＡＬユニットを含む場合、ＲＰＬ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）に対するシグナリングがスライスヘッダで存在するとき、このようなシグナリングはＩＤＲスライスのヘッダにも存在しなければならない。ＲＰＬシグナリングは、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合に、ＩＤＲスライスのスライスヘッダに存在する。現在は、混合されたＮＡＬユニットタイプを有する１つ以上のピクチャがある場合にも、このようなフラグ（ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の値が０であり得る。ここで、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、ＲＰＬシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在し得るかどうかを示し得る。例えば、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ＲＰＬシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在し得ることを示し得る。或いは、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ＲＰＬシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在しないことを示し得る。
【0184】
２．現在ピクチャがｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１であるＰＰＳを参照する場合、現在ピクチャのＶＣＬ ＮＡＬユニットのうち１つ以上は、いずれもＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が７乃至９）の範囲内で特定値のＮＡＬユニットタイプを有さなければならず、他のＶＣＬ ＮＡＬユニットはいずれもＴＲＡＩＬ＿ＮＵＴからＲＳＶ＿ＶＣＬ＿６まで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が０乃至６）の範囲内で特定値のＮＡＬユニットタイプを有さなければならないか、又はＧＲＡ＿ＮＵＴと同じＮＡＬユニットタイプを有さなければならない。このような制約は、ＩＲＡＰ及び非（ｎｏｎ）－ＩＲＡＰ ＮＡＬユニットタイプの混合された場合を含む現在ピクチャに対してのみ適用される。しかし、ＲＡＳＬ／ＲＡＤＬ及び非（ｎｏｎ）－ＩＲＡＰ ＮＡＬユニットタイプの混合された場合を含むピクチャに対しては、まだ適切に適用されていない。
【0185】
本文書においては、前述したような問題点に対する解決策を提供する。すなわち、前述したように、２つ以上のサブピクチャを含むピクチャ（すなわち、現在ピクチャ）は混合されたＮＡＬユニットタイプを有し得る。現在ＶＶＣ標準の場合、混合されたＮＡＬユニットタイプを有するピクチャは、ＩＲＡＰ ＮＡＬユニットタイプと非－ＩＲＡＰ ＮＡＬユニットタイプとで混合された形態を有し得る。しかし、ＣＲＡ ＮＡＬユニットタイプと関連したリーディングピクチャは、非－ＩＲＡＰ ＮＡＬユニットタイプと混合された形態を有することもあるが、このような混合されたＮＡＬユニットタイプを有するピクチャに対しては現在標準でサポートされない。従って、ＣＲＡ ＮＡＬユニットタイプと非－ＩＲＡＰ ＮＡＬユニットタイプとを混合された形態で有するピクチャに対する解決方法が必要である。
【0186】
よって、本文書は、リーディングピクチャＮＡＬユニットタイプ（例えば、ＲＡＳＬ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ）と他の非－ＩＲＡＰ ＮＡＬユニットタイプ（例えば、ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ、ＮＵＴ）とを混合された形態で含むピクチャを許容する方法を提供する。また、本文書は、ＩＤＲサブピクチャと他の非－ＩＲＡＰサブピクチャとが混合された場合に対して、参照ピクチャリストが存在するようにするか、シグナリングされるようにする制約条件を定義する。従って、混合されたＮＡＬユニットタイプを有するピクチャに対して、ＩＲＡＰだけでなく、ＣＲＡ ＮＡＬユニットとも混合された形態を提供することによって、より柔軟な（ｆｌｅｘｉｂｌｅ）特性を有するようにする。
【0187】
例えば、以下の実施形態のように適用することができ、これによって、前記問題点を解決することができる。以下の実施形態は、個別的に適用されてもよく、組み合わせて適用されてもよい。
【0188】
一実施形態として、ピクチャが混合されたＮＡＬユニットタイプを有することを許容するとき（ｍｉｘｅｄ＿ｎａｌ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合）、参照ピクチャリストに対するシグナリングは、ＩＤＲタイプのＮＡＬユニットタイプ（例えば、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰ）を有するスライスに対しても存在できるようにする。この制約は、次のように示し得る。
【0189】
－ ｍｉｘｅｄ＿ｎａｌ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ ｅｑａｕｌの値が１であるＳＰＳを参照する少なくとも１つのＰＰＳが存在する場合、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１でなければならない。このような制約は、ビットストリームの適合性（ｃｏｎｆｏｒｍａｎｃｅ）に対する要求事項であり得る。
【0190】
或いは、一実施形態として、混合されたＮＡＬユニットタイプを有するピクチャに対して、ピクチャがリーディングピクチャ（例えば、ＲＡＤＬ又はＲＡＳＬ）の特定のＮＡＬユニットタイプ及び非－リーディングピクチャ、非－ＩＲＡＰの特定のＮＡＬユニットタイプを有するスライスを含むことを許容できるようにする。これは、次のように示し得る。
【0191】
特定のピクチャのＶＣＬ ＮＡＬユニットについて、次のように適用できる。
【0192】
－ ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）の値は、ピクチャ内の全てのコーディングされるスライスＮＡＬユニットに対して同一でなければならない。ピクチャ又はＰＵは、前記ピクチャ又は前記ＰＵ内のコーディングされるスライスＮＡＬユニットと同じＮＡＬユニットタイプを有するものとみなされ得る。
【0193】
－ そうでない場合（ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合）、次のうちの一つを満たさなければならない（すなわち、次のうちの一つがｔｒｕｅ値を有し得る）。
【0194】
１）１つ以上のＶＣＬ ＮＡＬユニットはいずれもＩＤＲ＿Ｗ＿ＲＡＤＬからＣＲＡ＿ＮＵＴまで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が７乃至９）の範囲内で特定値のＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を有さなければならず、他のＶＣＬ ＮＡＬユニットはいずれもＴＲＡＩＬ＿ＮＵＴからＲＳＶ＿ＶＣＬ＿６まで（例えば、前記表１又は表２でＮＡＬユニットタイプの値が０乃至６）の範囲内で特定値のＮＡＬユニットタイプを有さなければならないか、又はＧＲＡ＿ＮＵＴと同じＮＡＬユニットタイプを有さなければならない。
【0195】
２）１つ以上のＶＣＬ ＮＡＬユニットはいずれもＲＡＤＬ＿ＮＵＴ（例えば、前記表１又は表２でＮＡＬユニットタイプの値が２）又はＲＡＳＬ＿ＮＵＴ（例えば、前記表１又は表２でＮＡＬユニットタイプの値が３）と同じＮＡＬユニットタイプの特定値を有さなければならず、他のＶＣＬ ＮＡＬユニットはいずれもＴＲＡＩＬ＿ＮＵＴ（例えば、前記表１又は表２でＮＡＬユニットタイプの値が０）、ＳＴＳＡ＿ＮＵＴ（例えば、前記表１又は表２でＮＡＬユニットタイプの値が１）、ＲＳＶ＿ＶＣＬ＿４（例えば、前記表１又は表２でＮＡＬユニットタイプの値が４）、ＲＳＶ＿ＶＣＬ＿５（例えば、前記表１又は表２でＮＡＬユニットタイプの値が５）、ＲＳＶ＿ＶＣＬ＿６（例えば、前記表１又は表２でＮＡＬユニットタイプの値が６）、又はＧＲＡ＿ＮＵＴと同じＮＡＬユニットタイプの特定値を有さなければならない。
【0196】
一方、本文書は、単一レイヤ（ｓｉｎｇｌｅ－ｌａｙｅｒ）のビットストリームに対しても、前述したような混合されたＮＡＬユニットタイプを有するピクチャを提供する方法を提案する。一実施形態として、単一レイヤのビットストリームの場合、次の制約条件が適用され得る。
【0197】
－ ビットストリーム内でデコード順序上、一番目のピクチャを除いた各ピクチャは、デコード順序で以前のＩＲＡＰピクチャと関連したものとみなされる。
【0198】
－ピクチャがＩＲＡＰピクチャのリーディングピクチャである場合、ＲＡＤＬ又はＲＡＳＬピクチャでなければならない。
【0199】
－ピクチャがＩＲＡＰピクチャのトレーリングピクチャである場合、ＲＡＤＬ又はＲＡＳＬピクチャであってはならない。
【0200】
－ ＩＤＲピクチャと関連したビットストリーム内にはＲＡＳＬピクチャが存在してはならない。
【0201】
－ ＮＡＬユニットタイプ（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）がＩＤＲ＿Ｎ＿ＬＰであるＩＤＲピクチャと関連したビットストリーム内にはＲＡＤＬピクチャが存在してはならない。
【0202】
参照される場合、各パラメータセットが利用可能であれば、ＩＲＡＰ ＰＵ以前の全てのＰＵを廃棄（ｄｉｓｃａｒｄｉｎｇ）することによって、ＩＲＡＰ ＰＵの位置でランダムアクセスを行うことができる（また、デコード順序でＩＲＡＰピクチャと全ての後行する非－ＲＡＳＬピクチャを正確にデコードできる）。
【0203】
－ デコード順序でＩＲＡＰピクチャに先行するピクチャは出力順序でＩＲＡＰピクチャより先行しなければならず、出力順序でＩＲＡＰピクチャと関連したＲＡＤＬピクチャより先行しなければならない。
【0204】
－ ＣＲＡピクチャと関連したＲＡＳＬピクチャは、出力順序でＣＲＡピクチャと関連したＲＡＤＬピクチャより先行しなければならない。
【0205】
－ ＣＲＡピクチャと関連したＲＡＳＬピクチャは、デコード順序でＣＲＡピクチャより先行するＩＲＡＰピクチャに対して、出力順序上で後行しなければならない。
【0206】
－ ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇの値が０であり、現在ピクチャがＩＲＡＰピクチャと関連したリーディングピクチャである場合、同じＩＲＡＰピクチャと関連した全ての非－リーディングピクチャよりデコード順序で先行しなければならない。そうでなければ、ピクチャｐｉｃＡとｐｉｃＢをデコード順序上で各々ＩＲＡＰピクチャと関連した一番目と最後のリーディングピクチャとする場合、デコード順序でｐｉｃＡに先行する非－リーディングピクチャは最大１個でなければならず、デコード順序でｐｉｃＡとｐｉｃＢとの間には非－リーディングピクチャがあってはならない。
【0207】
以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な用語や名称（例えば、シンタックス／シンタックス要素の名称等）は例示的に提示されたものであるため、本文書の技術的特徴が以下の図面に使用された具体的な名称に制限されない。
【0208】
【0209】
図１５を参照すると、エンコード装置は、ピクチャ内のスライスに対するＮＡＬユニットタイプを決定することができる（Ｓ１５００）。
【0210】
例えば、エンコード装置は、前記表１及び表２で説明したように、ピクチャ又はサブピクチャの性質及び種類等に応じてＮＡＬユニットタイプを決定することができ、ピクチャ又はサブピクチャのＮＡＬユニットタイプに基づいてスライスの各々に対するＮＡＬユニットタイプを決定することができる。
【0211】
例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合に対して、ＰＰＳと関連したピクチャ内のスライスは同じＮＡＬユニットタイプと決定されることができる。すなわち、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ピクチャの第１スライスに対する情報を含む第１ＮＡＬユニットの第１ＮＡＬユニットヘッダに定義されたＮＡＬユニットタイプは、同じピクチャの第２スライスに対する情報を含む第２ＮＡＬユニットの第２ＮＡＬユニットヘッダに定義されたＮＡＬユニットタイプと同一である。或いは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合に対して、ＰＰＳと関連したピクチャ内のスライスは、他のＮＡＬユニットタイプと決定されることができる。ここで、ピクチャ内のスライスに対するＮＡＬユニットタイプは、前述した実施形態で提案された方法に基づいて決定されることができる。
【0212】
エンコード装置は、ＮＡＬユニットタイプ関連情報を生成することができる（Ｓ１５１０）。ＮＡＬユニットタイプ関連情報は、前述した実施形態及び／又は前記表１及び表２で説明されたＮＡＬユニットタイプと関連した情報／シンタックス要素を含み得る。例えば、ＮＡＬユニットタイプと関連した情報は、ＰＰＳに含まれたｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素を含み得る。また、ＮＡＬユニットタイプと関連した情報は、コーディングされたスライスに対する情報を含むＮＡＬユニットのＮＡＬユニットヘッダ内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素を含み得る。
【0213】
エンコード装置は、ビットストリームを生成することができる（Ｓ１５２０）。ビットストリームは、コーディングされたスライスに対する映像情報を含む少なくとも１つのＮＡＬユニットを含み得る。また、ビットストリームはＰＰＳを含み得る。
【0214】
【0215】
図１６を参照すると、デコード装置はビットストリームを受信することができる（Ｓ１６００）。ここで、ビットストリームはコーディングされたスライスに対する映像情報を含む少なくとも１つのＮＡＬユニットを含み得る。また、ビットストリームはＰＰＳを含み得る。
【0216】
デコード装置は、ＮＡＬユニットタイプ関連情報を取得することができる（Ｓ１６１０）。ＮＡＬユニットタイプ関連情報は、前述した実施形態及び／又は前記表１及び表２で説明されたＮＡＬユニットタイプと関連した情報／シンタックス要素を含み得る。例えば、ＮＡＬユニットタイプと関連した情報は、ＰＰＳに含まれたｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素を含み得る。また、ＮＡＬユニットタイプと関連した情報は、コーディングされたスライスに対する情報を含むＮＡＬユニットのＮＡＬユニットヘッダ内のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素を含み得る。
【0217】
デコード装置は、ピクチャ内のスライスに対するＮＡＬユニットタイプを決定することができる（Ｓ１６２０）。
【0218】
例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ＰＰＳと関連したピクチャ内のスライスは、同じＮＡＬユニットタイプを使用する。すなわち、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０である場合、ピクチャの第１スライスに対する情報を含む第１ＮＡＬユニットの第１ＮＡＬユニットヘッダに定義されたＮＡＬユニットタイプは、同じピクチャの第２スライスに対する情報を含む第２ＮＡＬユニットの第２ＮＡＬユニットヘッダに定義されたＮＡＬユニットタイプと同じである。或いは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１である場合、ＰＰＳと関連したピクチャ内のスライスは他のＮＡＬユニットタイプを使用する。ここで、ピクチャ内のスライスに対するＮＡＬユニットタイプは、前述した実施形態で提案された方法に基づいて決定されることができる。
【0219】
デコード装置はスライスのＮＡＬユニットタイプに基づいてサンプル／ブロック／スライスをデコード／復元できる（Ｓ１６３０）。スライス内のサンプル／ブロックは、当該スライスのＮＡＬユニットタイプに基づいてデコード／復元できる。
【0220】
例えば、現在ピクチャの第１スライスに対して第１ＮＡＬユニットタイプが設定され、現在ピクチャの第２スライスに対して（第１ＮＡＬユニットタイプと異なる）第２ＮＡＬユニットタイプが設定された場合、第１スライス内のサンプル／ブロック又は第１スライス自体が第１ＮＡＬユニットタイプに基づいてデコード／復元でき、第２スライス内のサンプル／ブロック又は第２スライス自体が第２ＮＡＬユニットタイプに基づいてデコード／復元できる。
【0221】
【0222】
図１７に開示された方法は、図２又は図１８で開示されたエンコード装置２００により実行されることができる。ここで、図１８に開示されたエンコード装置２００は、図２に開示されたエンコード装置２００を簡略に示したものである。具体的に、図１７のステップＳ１７００～Ｓ１７２０は、図２に開示されたエントロピーエンコード部２４０により実行されることができ、また、実施形態によって、各ステップは図２に開示された映像分割部２１０、予測部２２０、レジデュアル処理部２３０、加算部３４０などにより実行されることもできる。さらに、図１７で開示された方法は、本文書で前述した実施形態を含んで実行されることができる。従って、図１７では、前述した実施形態と重複する内容に関して、具体的な説明を省略するか簡単にすることとする。
【0223】
図１７を参照すると、エンコード装置は、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプを決定することができる（Ｓ１７００）。
【0224】
現在ピクチャは複数のスライスを含み得、一つのスライスはスライスヘッダ及びスライスデータを含み得る。また、スライス（スライスヘッダ及びスライスデータ）にＮＡＬユニットヘッダを付加してＮＡＬユニットが生成できる。ＮＡＬユニットヘッダには当該ＮＡＬユニットに含まれるスライスデータによって特定されるＮＡＬユニットタイプ情報を含み得る。
【0225】
一実施形態として、エンコード装置は現在ピクチャ内の第１スライスに対する第１ＮＡＬユニット及び現在ピクチャ内の第２スライスに対する第２ＮＡＬユニットを生成することができる。また、エンコード装置は、第１及び第２スライスのタイプによって第１スライスに対する第１ＮＡＬユニットタイプ及び第２スライスに対する第２ＮＡＬユニットタイプを決定することができる。
【0226】
例えば、ＮＡＬユニットタイプは、前記表１又は表２に示すように、ＮＡＬユニットに含まれたスライスデータのタイプに基づいてＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴなどを含み得る。また、ＮＡＬユニットタイプは、ＮＡＬユニットヘッダでｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素に基づいてシグナリングされ得る。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素は、ＮＡＬユニットタイプを特定するためのシンタックス情報であって、前記表１又は表２に示すように、特定のＮＡＬユニットタイプに対応する特定値で示し得る。
【0227】
エンコード装置は、ＮＡＬユニットタイプに対するＮＡＬユニットタイプ関連情報を生成することができる（Ｓ１７１０）。
【0228】
ＮＡＬユニットタイプ関連情報は、前述した実施形態及び／又は前記表１及び表２で説明されたＮＡＬユニットタイプと関連した情報／シンタックス要素を含み得る。例えば、ＮＡＬユニットタイプ関連情報は、現在ピクチャが混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するかに関する情報であり得、ＰＰＳに含まれたｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素で示し得る。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素の値が０である場合、現在ピクチャ内のＮＡＬユニットは同じＮＡＬユニットタイプを有することを示し得る。或いは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素の値が１である場合、現在ピクチャ内のＮＡＬユニットは他のＮＡＬユニットタイプを有することを示し得る。
【0229】
一実施形態として、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプが全て同じである場合、エンコード装置は０の値を有するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）を生成することができる。或いは、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプが同じではない場合、エンコード装置は１の値を有するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）を生成することができる。
【0230】
すなわち、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、現在ピクチャの第１スライスに対する第１ＮＡＬユニットと現在ピクチャの第２スライスに対する第２ＮＡＬユニットは、互いに異なるＮＡＬユニットタイプを有し得る。或いは、現在ピクチャが混合されたＮＡＬユニットタイプを有さないことに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０）に基づいて、現在ピクチャの第１スライスに対する第１ＮＡＬユニットと現在ピクチャの第２スライスに対する第２ＮＡＬユニットとは同じＮＡＬユニットタイプを有し得る。
【0231】
一例として、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、第１スライスに対する第１ＮＡＬユニットはリーディングピクチャＮＡＬユニットタイプを有し得、第２スライスに対する第２ＮＡＬユニットは、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプを有し得る。ここで、リーディングピクチャＮＡＬユニットタイプは、ＲＡＤＬ ＮＡＬユニットタイプ又はＲＡＳＬ ＮＡＬユニットタイプを含み得、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャ ＮＡＬユニットタイプは、トレールＮＡＬユニットタイプ又はＳＴＳＡ ＮＡＬユニットタイプを含み得る。
【0232】
或いは、一例として、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、第１スライスに対する第１ＮＡＬユニットはＩＲＡＰ ＮＡＬユニットタイプを有し得、第２スライスに対する第２ＮＡＬユニットは非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプを有し得る。ここで、ＩＲＡＰ ＮＡＬユニットタイプは、ＩＤＲ ＮＡＬユニットタイプ（すなわち、ＩＤＲ＿Ｎ＿ＬＰ ＮＡＬ又はＩＤＲ＿Ｗ＿ＲＡＤＬ ＮＡＬユニットタイプ）又はＣＲＡ ＮＡＬユニットタイプを含み得、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプはトレールＮＡＬユニットタイプ又はＳＴＳＡ ＮＡＬユニットタイプを含み得る。また、実施形態によって非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプは、トレールＮＡＬユニットタイプのみを称することもある。
【0233】
実施形態によって、現在ピクチャが混合されたＮＡＬユニットタイプを有することを許容する場合に基づいて、現在ピクチャ内のＩＤＲ ＮＡＬユニットタイプ（例えば、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰ）を有するスライスに対して、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）のシグナリング関連情報が存在しなければならない。参照ピクチャリストのシグナリング関連情報は、参照ピクチャリストのシグナリングに対するシンタックス要素がスライスのスライスヘッダに存在するかどうかに関する情報を示し得る。すなわち、参照ピクチャリストのシグナリング関連情報の値が１であることに基づいて、ＩＤＲ ＮＡＬユニットタイプを有するスライスのスライスヘッダに参照ピクチャリストのシグナリングに対するシンタックス要素が存在し得る。或いは、参照ピクチャリストのシグナリング関連情報の値が０であることに基づいて、ＩＤＲ ＮＡＬユニットタイプを有するスライスのスライスヘッダに参照ピクチャリストのシグナリングに対するシンタックス要素が存在しないことがある。
【0234】
例えば、参照ピクチャリストのシグナリング関連情報は、前述したｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素であり得る。ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、参照ピクチャリストのシグナリングに対するシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在し得ることを示し得る。或いは、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、参照ピクチャリストのシグナリングに対するシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在しないことを示し得る。
【0235】
エンコード装置は、ＮＡＬユニットタイプ関連情報を含む映像／ビデオ情報をエンコードできる（Ｓ１７２０）。
【0236】
例えば、現在ピクチャ内の第１スライスに対する第１ＮＡＬユニット及び現在ピクチャ内の第２スライスに対する第２ＮＡＬユニットが互いに異なるＮＡＬユニットタイプを有する場合、エンコード装置は１の値を有するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）を含む映像／ビデオ情報をエンコードできる。或いは、現在ピクチャ内の第１スライスに対する第１ＮＡＬユニット及び現在ピクチャ内の第２スライスに対する第２ＮＡＬユニットが同じＮＡＬユニットタイプを有する場合、エンコード装置は０の値を有するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）を含む映像／ビデオ情報をエンコードできる。
【0237】
また、例えば、エンコード装置は、現在ピクチャ内のスライスに対する各ＮＡＬユニットタイプを示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ情報を含む映像／ビデオ情報をエンコードできる。
【0238】
さらに、例えば、エンコード装置は、参照ピクチャリストのシグナリング関連情報（例えば、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含む映像／ビデオ情報をエンコードできる。
【0239】
また、例えば、エンコード装置は、現在ピクチャ内のスライスに対するＮＡＬユニットを含む映像／ビデオ情報をエンコードできる。
【0240】
前述したような多様な情報を含む映像／ビデオ情報は、エンコードされてビットストリームの形態で出力されることができる。ビットストリームはネットワーク又は（デジタル）格納媒体を介してデコード装置に送信されることができる。ここで、ネットワークは放送網及び／又は通信網などを含み得、デジタル格納媒体はＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど多様な格納媒体を含み得る。
【0241】
【0242】
図１９に開示された方法は、図３又は図２０で開示されたデコード装置３００により実行されることができる。ここで、図２０に開示されたデコード装置３００は、図３に開示されたデコード装置３００を簡略に示したものである。具体的に、図１９のステップＳ１９００～Ｓ１９２０は、図３に開示されたエントロピーデコード部３１０により実行されることができ、また、実施形態によって、各ステップは図３に開示されたレジデュアル処理部３２０、予測部３３０、加算部３４０などにより実行されることもできる。さらに、図１９で開示された方法は、本文書において、前述した実施形態を含んで実行されることができる。従って、図１９では、前述した実施形態と重複する内容に関して、具体的な説明を省略するか簡単にすることとする。
【0243】
図１９を参照すると、デコード装置はビットストリームからＮＡＬユニットタイプ関連情報を含む映像／ビデオ情報を取得することができる（Ｓ１９００）。
【0244】
一実施形態として、デコード装置はビットストリームをパーシングして、映像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。このとき、映像情報は前述したＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ）、現在ピクチャ内のスライスに対する各ＮＡＬユニットタイプを示すｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ情報、参照ピクチャリストのシグナリング関連情報（例えば、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）、現在ピクチャ内のスライスに対するＮＡＬユニットなどを含み得る。すなわち、映像情報は、デコード過程で必要な多様な情報を含み得、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてデコードされることができる。
【0245】
前述したように、ＮＡＬユニットタイプ関連情報は、前述した実施形態及び／又は前記表１及び表２で説明されたＮＡＬユニットタイプと関連した情報／シンタックス要素を含み得る。例えば、ＮＡＬユニットタイプ関連情報は、現在ピクチャが混合された（ｍｉｘｅｄ）ＮＡＬユニットタイプを有するかに関する情報であり得、ＰＰＳに含まれたｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素で示し得る。例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素の値が０である場合、現在ピクチャ内のＮＡＬユニットは、同じＮＡＬユニットタイプを有することを示し得る。或いは、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇシンタックス要素の値が１である場合、現在ピクチャ内のＮＡＬユニットは他のＮＡＬユニットタイプを有することを示し得る。
【0246】
デコード装置は、ＮＡＬユニットタイプ関連情報に基づいて、現在ピクチャ内のＮＡＬユニットに対するＮＡＬユニットタイプを決定することができる（Ｓ１９１０）。
【0247】
現在ピクチャは、複数のスライスを含み得、１つのスライスはスライスヘッダ及びスライスデータを含み得る。また、スライス（スライスヘッダ及びスライスデータ）にＮＡＬユニットヘッダを付加してＮＡＬユニットが生成できる。ＮＡＬユニットヘッダには当該ＮＡＬユニットに含まれるスライスデータによって特定されるＮＡＬユニットタイプ情報を含み得る。
【0248】
例えば、ＮＡＬユニットタイプは、前記表１又は表２に示すように、ＮＡＬユニットに含まれたスライスデータのタイプに基づいて、ＴＲＡＩＬ＿ＮＵＴ、ＳＴＳＡ＿ＮＵＴ、ＲＡＤＬ＿ＮＵＴ、ＲＡＳＬ＿ＮＵＴ、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴなどを含み得る。また、ＮＡＬユニットタイプは、ＮＡＬユニットヘッダでｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素に基づいてシグナリングされ得る。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅシンタックス要素はＮＡＬユニットタイプを特定するためのシンタックス情報であって、前記表１又は表２に示すように、特定のＮＡＬユニットタイプに対応する特定値で示し得る。
【0249】
一実施形態として、デコード装置は、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、現在ピクチャの第１スライスに対する第１ＮＡＬユニットと現在ピクチャの第２スライスに対する第２ＮＡＬユニットとが互いに異なるＮＡＬユニットタイプを有すると決定できる。或いは、デコード装置は、現在ピクチャが混合されたＮＡＬユニットタイプを有さないことに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０）に基づいて、現在ピクチャの第１スライスに対する第１ＮＡＬユニットと、現在ピクチャの第２スライスに対する第２ＮＡＬユニットとが同じＮＡＬユニットタイプを有すると決定できる。
【0250】
一例として、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、第１スライスに対する第１ＮＡＬユニットは、リーディングピクチャＮＡＬユニットタイプを有し得、第２スライスに対する第２ＮＡＬユニットは、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプを有し得る。ここで、リーディングピクチャＮＡＬユニットタイプは、ＲＡＤＬ ＮＡＬユニットタイプ又はＲＡＳＬ ＮＡＬユニットタイプを含み得、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプはトレールＮＡＬユニットタイプ又はＳＴＳＡ ＮＡＬユニットタイプを含み得る。
【0251】
或いは、一例として、現在ピクチャが混合されたＮＡＬユニットタイプを有することに関するＮＡＬユニットタイプ関連情報（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１）に基づいて、第１スライスに対する第１ ＮＡＬユニットはＩＲＡＰ ＮＡＬユニットタイプを有し得、第２スライスに対する第２ＮＡＬユニットは非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプを有し得る。ここで、ＩＲＡＰ ＮＡＬユニットタイプはＩＤＲ ＮＡＬユニットタイプ（すなわち、ＩＤＲ＿Ｎ＿ＬＰ ＮＡＬ又はＩＤＲ＿Ｗ＿ＲＡＤＬ ＮＡＬユニットタイプ）又はＣＲＡ ＮＡＬユニットタイプを含み得、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプはトレールＮＡＬユニットタイプ又はＳＴＳＡ ＮＡＬユニットタイプを含み得る。また、実施形態によって、非－ＩＲＡＰ ＮＡＬユニットタイプ又は非－リーディングピクチャＮＡＬユニットタイプはトレールＮＡＬユニットタイプのみを称することもある。
【0252】
実施形態によって、現在ピクチャが混合されたＮＡＬユニットタイプを有することを許容する場合に基づいて、現在ピクチャ内のＩＤＲ ＮＡＬユニットタイプ（例えば、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰ）を有するスライスに対して、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）のシグナリング関連情報が存在しなければならない。参照ピクチャリストのシグナリング関連情報は、参照ピクチャリストのシグナリングに対するシンタックス要素がスライスのスライスヘッダに存在するかどうかに関する情報を示し得る。すなわち、参照ピクチャリストのシグナリング関連情報の値が１であることに基づいて、ＩＤＲ ＮＡＬユニットタイプを有するスライスのスライスヘッダに参照ピクチャリストのシグナリングに対するシンタックス要素が存在し得る。或いは、参照ピクチャリストのシグナリング関連情報の値が０であることに基づいて、ＩＤＲ ＮＡＬユニットタイプを有するスライスのスライスヘッダに参照ピクチャリストのシグナリングに対するシンタックス要素が存在しないことがある。
【0253】
例えば、参照ピクチャリストのシグナリング関連情報は、前述したｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素であり得る。ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、参照ピクチャリストのシグナリングに対するシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在し得ることを示し得る。或いは、ｓｐｓ＿ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、参照ピクチャリストのシグナリングに対するシンタックス要素がＩＤＲ＿Ｎ＿ＬＰ又はＩＤＲ＿Ｗ＿ＲＡＤＬのようなＮＡＬユニットタイプを有するスライスのスライスヘッダに存在しないことを示し得る。
【0254】
デコード装置は、ＮＡＬユニットタイプに基づいて、現在ピクチャをデコード／復元できる（Ｓ１９２０）。
【0255】
例えば、第１ＮＡＬユニットタイプと決定された現在ピクチャ内の第１スライス及び第２ＮＡＬユニットタイプと決定された現在ピクチャ内の第２スライスに対して、デコード装置は第１ＮＡＬユニットタイプに基づいて第１スライスをデコード／復元し、第２ＮＡＬユニットタイプに基づいて第２スライスをデコード／復元できる。また、デコード装置は、第１ＮＡＬユニットタイプに基づいて第１スライス内のサンプル／ブロックをデコード／復元し、第２ＮＡＬユニットタイプに基づいて第２スライス内のサンプル／ブロックをデコード／復元できる。
【0256】
前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、本文書の実施形態は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、他のステップが含まれるか、フローチャートの１つ又はそれ以上のステップが本文書の範囲に影響を与えずに削除され得ることを理解することができる。
【0257】
前述した本文書による方法は、ソフトウェアの形態で実現されることができ、本文書によるエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
【0258】
本文書で、実施形態がソフトウェアで実現される際、前述の方法は、前述の機能を行うモジュール（過程、機能等）で実現され得る。モジュールはメモリに格納され、プロセッサにより実行され得る。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含み得る。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含み得る。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて実行され得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で実現されて実行され得る。この場合、実現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納され得る。
【0259】
また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、映像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
【0260】
また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施形態に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。
【0261】
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。
【0262】
図２１は、本文書に開示された実施形態が適用されることができるコンテンツストリーミングシステムの例を示す。
【0263】
図２１を参照すると、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
【0264】
前記エンコードサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略され得る。
【0265】
前記ビットストリームは、本文書の実施形態が適用されるエンコード方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。
【0266】
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
【0267】
前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。
【0268】
前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。
【0269】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
【0270】
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
