知財求人 - 知財ポータルサイト「IP Force」
▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特許7492023混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-20
(45)【発行日】2024-05-28
(54)【発明の名称】混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを保存する記録媒体
(51)【国際特許分類】
H04N 19/114 20140101AFI20240521BHJP
H04N 19/16 20140101ALI20240521BHJP
H04N 19/169 20140101ALI20240521BHJP
H04N 19/174 20140101ALI20240521BHJP
H04N 19/70 20140101ALI20240521BHJP
【ＦＩ】
H04N19/114
H04N19/16
H04N19/169 200
H04N19/174
H04N19/70
【請求項の数】
14
(21)【出願番号】P 2022558315
(86)(22)【出願日】2021-03-23
(65)【公表番号】
(43)【公表日】2023-05-09
(86)【国際出願番号】 KR2021003560
(87)【国際公開番号】W WO2021194211
(87)【国際公開日】2021-09-30
【審査請求日】2022-11-17
(31)【優先権主張番号】62/993,668
(32)【優先日】2020-03-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ヘンドリー ヘンドリー
(72)【発明者】
【氏名】キム スンファン
【審査官】久保 光宏
(56)【参考文献】
【文献】Benjamin Bross, et al.，"Versatile Video Coding (Draft 8)"，Document: JVET-Q2001-vD, [online]，JVET-Q2001 (version 14)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年02月27日，pp.3-11,36,59-61,88-91,141-148,178-179，[令和5年8月8日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9675> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v14.zip>.，(See document file "JVET-Q2001-vD.docx" in the zip file "JVET-Q2001-v14.zip".)
【文献】Jonatan Samuelsson, et al.，"AHG9: On mixed NAL unit types"，Document: JVET-Q0751, [online]，JVET-Q0751 (version 2)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2020年01月14日，pp.1-4，[令和6年3月25日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=9597> and <URL: https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q0751-v2.zip>.，(See document file "JVET-Q0751-v2.docx" in the zip file "JVET-Q0751-v2.zip".)
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ１９／００－１９／９８
ＣＳＤＢ（日本国特許庁）
学術文献等データベース（日本国特許庁）
ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）
(57)【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、前記画像復号化方法は、ビットストリームから、現在ピクチャの符号化された画像データを含む少なくとも１つのＮＡＬ（network abstraction layer）ユニットのＮＡＬユニットタイプ情報を取得するステップと、
前記取得されたＮＡＬユニットタイプ情報に基づいて前記現在ピクチャ内の複数のスライスのそれぞれのＮＡＬユニットタイプを決定するステップと、
前記決定されたＮＡＬユニットタイプに基づいて前記複数のスライスを復号化するステップと、を含み、
前記複数のスライスのうちの少なくとも１つのスライスがＲＡＳＬ＿ＮＵＴを有し、前記複数のスライスのうちの他のスライスが全てＲＡＳＬ＿ＮＵＴ又はＲＡＤＬ＿ＮＵＴを有することに基づいて、前記現在ピクチャは、ＲＡＳＬ（Random Access Skipped Leading）ピクチャとして扱われる、画像復号化方法。
【請求項2】
前記ＲＡＳＬピクチャに関連しているＩＲＡＰ（Intra Random Access Point）ピクチャが復号化順に１番目のピクチャであることに基づいて、前記ＲＡＳＬピクチャに対する出力過程は、スキップされる、請求項１に記載の画像復号化方法。
【請求項3】
前記ＲＡＳＬピクチャに対する前記出力過程がスキップされるかどうかは、前記ＩＲＡＰピクチャに対するフラグ情報に基づいて決定される、請求項２に記載の画像復号化方法。
【請求項4】
前記複数のスライスの少なくとも１つが前記ＲＡＤＬ＿ＮＵＴを有することに基づいて、前記ＲＡＳＬピクチャは、ＲＡＤＬ（Random Access Decodable Leading）ピクチャによって参照される、請求項１に記載の画像復号化方法。
【請求項5】
前記ＲＡＳＬピクチャは、２つ以上のサブピクチャを含み、前記サブピクチャのうちの少なくとも１つのサブピクチャは、前記ＲＡＤＬ＿ＮＵＴを有する１つ以上のスライスを含む、請求項４に記載の画像復号化方法。
【請求項6】
前記少なくとも１つのサブピクチャは、１つのピクチャとして扱われる、請求項５に記載の画像復号化方法。
【請求項7】
ＲＡＤＬピクチャ内の少なくとも１つの第１サブピクチャが前記ＲＡＳＬピクチャを参照することに基づいて、前記ＲＡＳＬピクチャ内の第１サブピクチャのコロケーテッドピクチャは、前記ＲＡＤＬ＿ＮＵＴを有する１つ以上のスライスを含む、請求項５に記載の画像復号化方法。
【請求項8】
前記ＲＡＤＬピクチャは、それぞれ１つのピクチャとして扱われる２つ以上のサブピクチャを含む、請求項５に記載の画像復号化方法。
【請求項9】
前記ＲＡＳＬピクチャに関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャであり、前記複数のスライスの全てが前記ＲＡＳＬ＿ＮＵＴを有することに基づいて、前記ＲＡＳＬピクチャは、復号化プロセスから除去される、請求項１に記載の画像復号化方法。
【請求項10】
画像符号化装置によって行われる画像符号化方法であって、前記画像符号化方法は、現在ピクチャを複数のサブピクチャに分割するステップと、
前記複数のサブピクチャのそれぞれのＮＡＬ（network abstraction layer）ユニットタイプを決定するステップと、
前記決定されたＮＡＬユニットタイプに基づいて前記複数のサブピクチャを符号化するステップと、を含み、
前記複数のサブピクチャに含まれる複数のスライスのうちの少なくとも１つのスライスがＲＡＳＬ＿ＮＵＴを有し、前記複数のスライスのうちの他のスライスが全てＲＡＳＬ＿ＮＵＴ又はＲＡＤＬ＿ＮＵＴを有することに基づいて、前記現在ピクチャは、ＲＡＳＬ（Random Access Skipped Leading）ピクチャとして扱われる、画像符号化方法。
【請求項11】
前記ＲＡＳＬピクチャに関連しているＩＲＡＰ（Intra Random Access Point）ピクチャが復号化順に１番目のピクチャであることに基づいて、前記ＲＡＳＬピクチャに対する出力過程は、スキップされる、請求項１０に記載の画像符号化方法。
【請求項12】
前記複数のスライスの少なくとも１つが前記ＲＡＤＬ＿ＮＵＴを有することに基づいて、前記ＲＡＳＬピクチャは、ＲＡＤＬ（Random Access Decodable Leading）ピクチャによって参照される、請求項１０に記載の画像符号化方法。
【請求項13】
前記ＲＡＳＬピクチャは、２つ以上のサブピクチャを含み、前記サブピクチャの少なくとも１つは、前記ＲＡＤＬ＿ＮＵＴを有する少なくとも１つのスライスを含む、請求項１２に記載の画像符号化方法。
【請求項14】
ビットストリームを伝送する方法であって、現在ピクチャを複数のサブピクチャに分割するステップと、
前記複数のサブピクチャのそれぞれのＮＡＬ（network abstraction layer）ユニットタイプを決定するステップと、
前記決定されたＮＡＬユニットタイプに基づいて前記複数のサブピクチャを符号化して、前記ビットストリームを生成するステップと、
前記ビットストリームを含むデータを伝送するステップと、を含み、
前記複数のサブピクチャに含まれる複数のスライスのうちの少なくとも１つのスライスがＲＡＳＬ＿ＮＵＴを有し、前記複数のスライスのうちの他のスライスが全てＲＡＳＬ＿ＮＵＴ又はＲＡＤＬ＿ＮＵＴを有することに基づいて、前記現在ピクチャは、ＲＡＳＬ（Random Access Skipped Leading）ピクチャとして扱われる、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置、並びに本開示の画像符号化方法／装置によって生成されたビットストリームを保存する記録媒体に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
【0005】
また、本開示は、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置を提供することを目的とする。
【0006】
また、本開示は、サブピクチャビットストリーム併合動作に基づく画像符号化／復号化方法及び装置を提供することを目的とする。
【0007】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0008】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0009】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
【0010】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【課題を解決するための手段】
【0011】
本開示の一態様による画像復号化方法は、ビットストリームから、符号化された画像データを含む少なくとも１つのＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｉｏｎ ｌａｙｅｒ）ユニットに関するＮＡＬユニットタイプ情報を取得するステップと、前記取得されたＮＡＬユニットタイプ情報に基づいて、現在ピクチャ内の１つ以上のスライスが有する少なくとも１つのＮＡＬユニットタイプを決定するステップと、前記決定されたＮＡＬユニットタイプに基づいて、前記現在ピクチャを復号化するステップと、を含み、前記決定されたＮＡＬユニットタイプがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）ピクチャＮＡＬユニットタイプ（ＲＡＳＬ＿ＮＵＴ）を含むことに基づいて、前記現在ピクチャは、ＲＡＳＬピクチャと決定され、前記ＲＡＳＬピクチャに関連しているＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャが復号化順に１番目のピクチャである場合、前記ＲＡＳＬピクチャは、ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャＮＡＬユニットタイプ（ＲＡＤＬ＿ＮＵＴ）を有する１つ以上のスライスを含むことに基づいて復号化されることができる。
【0012】
本開示の他の態様による画像復号化装置は、メモリと少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、ビットストリームから、符号化された画像データを含む少なくとも１つのＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニットに関するＮＡＬユニットタイプ情報を取得し、前記取得されたＮＡＬユニットタイプ情報に基づいて、現在ピクチャ内の１つ以上のスライスが有する少なくとも１つのＮＡＬユニットタイプを決定し、前記決定されたＮＡＬユニットタイプに基づいて前記現在ピクチャを復号化するが、前記決定されたＮＡＬユニットタイプがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）ピクチャＮＡＬユニットタイプ（ＲＡＳＬ＿ＮＵＴ）を含むことに基づいて、前記現在ピクチャはＲＡＳＬピクチャと決定され、前記ＲＡＳＬピクチャに関連しているＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャが復号化順に１番目のピクチャである場合、前記ＲＡＳＬピクチャは、ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャＮＡＬユニットタイプ（ＲＡＤＬ＿ＮＵＴ）を有する１つ以上のスライスを含むことに基づいて復号化されることができる。
【0013】
本開示の別の態様による画像符号化方法は、現在ピクチャを複数のサブピクチャに分割するステップ、前記サブピクチャそれぞれのＮＡＬユニットタイプを決定するステップ、及び前記決定されたＮＡＬユニットタイプに基づいて、前記サブピクチャを符号化するステップを含み、前記決定されたＮＡＬユニットタイプがＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）サブピクチャＮＡＬユニットタイプ（ＲＡＳＬ＿ＮＵＴ）を含むことに基づいて、前記現在ピクチャは、所定のＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャに関連しているＲＡＳＬピクチャと決定され、前記ＲＡＳＬピクチャは、ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャＮＡＬユニットタイプ（ＲＡＤＬ＿ＮＵＴ）を有する少なくとも１つのサブピクチャを含むことができる。
【0014】
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
【0015】
本開示の別の態様による伝送方法は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを伝送することができる。
【0016】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0017】
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
【0018】
また、本開示によれば、混成ＮＡＬユニットタイプに基づく画像符号化／復号化方法及び装置が提供されることができる。
【0019】
また、本開示によれば、復号化順に１番目のピクチャに連関し、復号化可能なＲＡＳＬピクチャに基づく画像符号化／復号化方法及び装置が提供されることができる。
【0020】
また、本開示によれば、インター予測のための参照ピクチャとして利用可能なＲＡＳＬピクチャに基づく画像符号化／復号化方法及び装置が提供されることができる。
【0021】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0022】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
【0023】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
【0024】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0025】
【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【図4】本開示による実施例が適用できる画像復号化手順を概略的に示すフローチャートである。
【図5】本開示による実施例が適用できる画像符号化手順を概略的に示すフローチャートである。
【図6】コーディングされた画像／ビデオに対する階層構造の一例を示す図である。
【図7】本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）を示す図である。
【図8】本開示の一実施例によるスライスヘッダーを示す図である。
【図9】サブピクチャの一例を示す図である。
【図10】混成ＮＡＬユニットタイプを有するピクチャの一例を示す図である。
【図11】本開示の一実施例によるピクチャパラメータセット（ＰＰＳ）の一例を示す図である。
【図12】本開示の一実施例によるシーケンスパラメータセット（ＳＰＳ）の一例を示す図である。
【図13】サブピクチャビットストリーム併合を介して混成ＮＡＬユニットタイプが構成される過程を説明するための構成である。
【図14】ピクチャ類型別の復号化順序及び出力順序を説明するための図である。
【図15a】本開示の一実施例によるＲＡＳＬピクチャの類型を説明するための図である。
【図15b】本開示の一実施例によるＲＡＳＬピクチャの類型を説明するための図である。
【図16a】ランダムアクセス時のＲＡＳＬピクチャの取り扱いを説明するための図である。
【図16b】ランダムアクセス時のＲＡＳＬピクチャの取り扱いを説明するための図である。
【図17】本開示の一実施例によるＲＡＳＬピクチャの復号化過程及び出力過程を示すフローチャートである。
【図18a】本開示の一実施例によるＲＡＳＬピクチャの参照条件を説明するための図である。
【図18b】本開示の一実施例によるＲＡＳＬピクチャの参照条件を説明するための図である。
【図19】本開示の一実施例による画像符号化方法を示すフローチャートである。
【図20】本開示の一実施例による画像復号化方法を示すフローチャートである。
【図21】本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。
【発明を実施するための形態】
【0026】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0027】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0028】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【0029】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。
【0030】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0031】
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0032】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0033】
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
【0034】
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
【0035】
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
【0036】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0037】
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのルマ成分ブロックは、明示的に「ルマブロック」又は「現在ルマブロック」のようにルマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。
【0038】
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
【0039】
本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
【0040】
ビデオコーディングシステムの概要
【0041】
図１は、本開示によるビデオコーディングシステムを示す。
【0042】
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
【0043】
一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
【0044】
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0045】
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
【0046】
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。
【0047】
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
【0048】
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
【0049】
画像符号化装置の概要
【0050】
図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【0051】
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
【0052】
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
【0053】
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
【0054】
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0055】
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0056】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0057】
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも１つを用いることができる。
【0058】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
【0059】
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
【0060】
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0061】
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0062】
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
【0063】
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
【0064】
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0065】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0066】
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0067】
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
【0068】
画像復号化装置の概要
【0069】
図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【0070】
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
【0071】
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0072】
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0073】
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
【0074】
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
【0075】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0076】
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
【0077】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0078】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
【0079】
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
【0080】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0081】
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。
【0082】
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0083】
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
【0084】
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
【0085】
一般な画像／ビデオコーディング手順
【0086】
画像／ビデオコーディングにおいて、画像／ビデオを構成するピクチャは、一連の復号化順序（ｄｅｃｏｄｉｎｇ ｏｒｄｅｒ）に従って符号化／復号化できる。復号化されたピクチャの出力順序（ｏｕｔｐｕｔ ｏｒｄｅｒ）に該当するピクチャ順序（ｐｉｃｔｕｒｅ ｏｒｄｅｒ）は、前記復号化順序とは異なるように設定できる。これに基づいて、インター予測の際に、順方向予測だけでなく、逆方向予測も行うことができる。
【0087】
図４は本開示による実施例が適用できる概略的な画像復号化手順の例を概略的に示す。
【0088】
図４に示されている各手順は、図３の画像符号化装置によって行われることができる。例えば、図４において、ステップＳ４１０は、エントロピー復号化部２１０によって行われることができ、ステップＳ４２０は、イントラ予測部２６５及びインター予測部２６０を含む予測部で行われることができ、ステップＳ４３０は、逆量子化部２２０及び逆変換部２３０を含むレジデュアル処理部で行われることができ、ステップＳ４４０は、加算部２３５で行われることができ、ステップＳ４５０は、フィルタリング部２４０で行われることができる。ステップＳ４１０は、本開示で説明された情報復号化手順を含むことができ、ステップＳ４２０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ４３０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ４４０は、本開示で説明されたブロック／ピクチャ復元手順を含むことができ、ステップＳ４５０は、本開示で説明されたインループフィルタリング手順を含むことができる。
【0089】
図４を参照すると、ピクチャ復号化手順は、図３についての説明で示されているように、概略的に、ビットストリームから（復号化による）画像／ビデオ情報取得手順（Ｓ４１０）、ピクチャ復元手順（Ｓ４２０～Ｓ４４０）、及び復元されたピクチャに対するインループフィルタリング手順（Ｓ４５０）を含むことができる。前記ピクチャ復元手順は、本開示で説明されたインター／イントラ予測（Ｓ４２０）及びレジデュアル処理（Ｓ４３０、量子化された変換係数に対する逆量子化、逆変換）過程を経て取得した予測サンプル及びレジデュアルサンプルに基づいて行われることができる。前記ピクチャ復元手順によって生成された復元ピクチャに対するインループフィルタリング手順を介して、修正（ｍｏｄｉｆｉｅｄ）された復元ピクチャが生成されることができ、前記修正された復元ピクチャが、復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。場合によっては、前記インループフィルタリング手順は省略可能であり、この場合、前記復元ピクチャが復号化されたピクチャとして出力されることができ、また、復号化装置の復号ピクチャバッファ又はメモリ２５０に保存されて以後のピクチャの復号化時にインター予測手順で参照ピクチャとして使用されることができる。前記インループフィルタリング手順（Ｓ４５０）は、上述したように、デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順などを含むことができ、その一部又は全部が省略可能である。また、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順、及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの一つ又は一部が順次適用されてもよく、全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われることができる。又は、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われることができる。これは、符号化装置においても同様に行われることができる。
【0090】
図５は、本開示による実施例が適用できる概略的な画像符号化手順の例を示す。
【0091】
図５に示されている各手順は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ５１０は、イントラ予測部１８５又はインター予測部１８０を含む予測部で行われることができ、ステップＳ５２０は、変換部１２０及び／又は量子化部１３０を含むレジデュアル処理部で行われることができ、ステップＳ５３０は、エントロピー符号化部１９０で行われることができる。ステップＳ５１０は、本開示で説明されたインター／イントラ予測手順を含むことができ、ステップＳ５２０は、本開示で説明されたレジデュアル処理手順を含むことができ、ステップＳ５３０は、本開示で説明された情報符号化手順を含むことができる。
【0092】
図５を参照すると、ピクチャ符号化手順は、図２についての説明で示されているように、概略的にピクチャ復元のための情報（例えば、予測情報、レジデュアル情報、パーティショニング情報など）を符号化してビットストリーム形式で出力する手順だけでなく、現在ピクチャに対する復元ピクチャを生成する手順、及び復元ピクチャにインループフィルタリングを適用する手順（ｏｐｔｉｏｎａｌ）を含むことができる。符号化装置は、逆量子化部１４０及び逆変換部１５０を介して、量子化された変換係数から（修正された）レジデュアルサンプルを導出することができ、ステップＳ５１０の出力である予測サンプルと前記（修正された）レジデュアルサンプルに基づいて復元ピクチャを生成することができる。このように生成された復元ピクチャは、上述した復号化装置で生成した復元ピクチャと同一であり得る。前記復元ピクチャに対するインループフィルタリング手順を介して、修正された復元ピクチャが生成されることができ、これは、復号ピクチャバッファ又はメモリ１７０に保存されることができ、復号化装置での場合と同様に、以後のピクチャの符号化時にインター予測手順で参照ピクチャとして使用されることができる。上述したように、場合によっては、前記インループフィルタリング手順の一部又は全部は省略可能である。前記インループフィルタリング手順が行われる場合、（インループ）フィルタリング関連情報（パラメータ）がエントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができ、復号化装置は、前記フィルタリング関連情報に基づいて符号化装置と同様の方法でインループフィルタリング手順を行うことができる。
【0093】
このようなインループフィルタリング手順を介して、ブロッキングアーチファクト（ａｒｔｉｆａｃｔ）及びリンギング（ｒｉｎｇｉｎｇ）アーチファクトなど、画像／動画像コーディング時に発生するノイズを低減することができ、主観的／客観的ビジュアルクオリティを高めることができる。また、符号化装置と復号化装置の両方でインループフィルタリング手順を行うことにより、符号化装置と復号化装置は、同一の予測結果を導出することができ、ピクチャコーディングの信頼性を高め、ピクチャコーディングのために伝送されるべきデータ量を減らすことができる。
【0094】
上述したように、復号化装置だけでなく、符号化装置においてもピクチャ復元手順が行われることができる。各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライス／タイルグループがＩピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライス／タイルグループがＰ又はＢピクチャ／スライス／タイルグループである場合、前記現在ピクチャ／スライス／タイルグループに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス／タイルグループ内の一部のブロックに対してはインター予測が適用され、残りの一部のブロックに対してはイントラ予測が適用されることもできる。ピクチャのカラー成分は、ルマ成分及びクロマ成分を含むことができ、本開示で明示的に制限しなければ、本開示で提案される方法及び実施例は、ルマ成分及びクロマ成分に適用されるができる。
【0095】
コーディング階層及び構造の例
【0096】
本開示によるコーディングされたビデオ／画像は、例えば、後述するコーディング階層及び構造に従って処理できる。
【0097】
図６は、コーディングされた画像／ビデオに対する階層構造の一例を示す図である。
【0098】
コーディングされた画像／ビデオは、画像／ビデオの復号化処理及びそれ自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を伝送し保存する下位システム、そしてＶＣＬと下位システムとの間に存在し、ネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されることができる。
【0099】
ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成するか、或いはピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は画像の復号化処理に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
【0100】
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダー情報（ＮＡＬユニットヘッダー）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどをいう。ＮＡＬユニットヘッダーには、該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
【0101】
図６に示されているように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰの類型によってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像を復号化するために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。
【0102】
上述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格に応じてヘッダー情報を付けてネットワークを介して伝送されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などの所定の規格のデータ形式に変形して様々なネットワークを介して伝送されることができる。
【0103】
上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）に応じてＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むか否かによって、大きくＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
【0104】
以下に、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセット／情報の種類などによって特定されたＮＡＬユニットタイプの一例を羅列する。
【0105】
－ＤＣＩ（Ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＤＣＩを含むＮＡＬユニットに対するタイプ
【0106】
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＶＰＳを含むＮＡＬユニットに対するタイプ
【0107】
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＳＰＳを含むＮＡＬユニットに対するタイプ
【0108】
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＰＰＳを含むＮＡＬユニットに対するタイプ
【0109】
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） ＮＵＴ：ＡＰＳを含むＮＡＬユニットに対するタイプ
【0110】
－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ） ＮＵＴ：ピクチャヘッダーを含むＮＵＬユニットに対するタイプ
【0111】
上述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値を用いて特定できる。
【0112】
一方、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダー及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダー及びスライスデータ集合）に対して一つのピクチャヘッダーがさらに付加されることができる。前記ピクチャヘッダー（ピクチャヘッダーシンタックス）は、前記ピクチャに共通に適用可能な情報／パラメータを含むことができる。前記スライスヘッダー（スライスヘッダーシンタックス）は、前記スライスに共通に適用可能な情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。前記ＤＣＩは、復号化能力（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ）に関連する情報／パラメータを含むことができる。
【0113】
本開示において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）は、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＣＩシンタックス、ピクチャヘッダーシンタックス、及びスライスヘッダーシンタックスのうちの少なくとも一つを含むことができる。また、本開示において、下位レベルシンタックス（ｌｏｗ ｌｅｖｅｌ ｓｙｎｔａｘ、ＬＬＳ）は、例えば、スライスデータシンタックス、ＣＴＵシンタックス、符号化単位シンタックス、変換単位シンタックスなどを含むことができる。
【0114】
一方、本開示において、符号化装置から復号化装置へ符号化されてビットストリーム形式でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダーの情報、前記ピクチャヘッダーの情報、前記ＡＰＳの情報、前記ＰＰＳの情報、ＳＰＳの情報、前記ＶＰＳの情報及び／又は前記ＤＣＩの情報を含むことができる。また、前記画像／ビデオ情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）及び／又はＮＡＬユニットヘッダーの情報をさらに含むことができる。
【0115】
エントリポイント（Ｅｎｔｒｙ ｐｏｉｎｔｓ）シグナリングの概要
【0116】
上述したように、ＶＣＬ ＮＡＬユニットは、ＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）としてスライスデータを含むことができる。スライスデータは、ＶＣＬ ＮＡＬユニット内でバイト単位にて整列され、１つ以上のサブセット（ｓｕｂｓｅｔｓ）を含むことができる。前記サブセットに対してランダムアクセス（Ｒａｎｄｏｍ Ａｃｃｅｓｓ、ＲＡ）のための少なくとも１つのエントリポイント（ｅｎｔｒｙ ｐｏｉｎｔ）が定義されることができ、前記エントリポイントに基づいて並列処理が行われることができる。
【0117】
ＶＶＣ標準は、様々な並列処理技法の１つであるＷＰＰ（ｗａｖｅｆｒｏｎｔ ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ）を支援する。ピクチャ内の複数のスライスは、ＷＰＰに基づいて並列に符号化／復号化できる。
【0118】
並列処理能力を活性化するために、エントリポイント情報がシグナリングできる。画像復号化装置は、エントリポイント情報に基づいて、ＮＡＬユニットに含まれているデータセグメントの始点に直接アクセスすることができる。ここで、データセグメントの始点とは、スライス内のタイルの始点又はスライス内のＣＴＵ行の始点を意味することができる。
【0119】
エントリポイント情報は、上位レベルシンタックス、例えば、ピクチャパラメータセット（ＰＰＳ）及び／又はスライスヘッダー内でシグナリングされることができる。
【0120】
【0121】
まず、図７を参照すると、ピクチャパラメータセット（ＰＰＳ）は、エントリポイント情報のシグナリング存否を示すシンタックス要素としてｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含むことができる。
【0122】
ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ピクチャパラメータセット（ＰＰＳ）を参照するスライスヘッダー内にエントリポイント情報のシグナリングが存在するか否かを示すことができる。例えば、第１値（例えば、０）を有するｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、前記スライスヘッダー内に、タイル又はタイル内の特定のＣＴＵ行（ｒｏｗｓ）に対するエントリポイント情報のシグナリングが存在しないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、前記スライスヘッダー内に、タイル又はタイル内の特定のＣＴＵ行（ｒｏｗ）に対するエントリポイント情報のシグナリングが存在することを示すことができる。
【0123】
一方、図７では、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがピクチャパラメータセット（ＰＰＳ）に含まれる場合を示すが、これは例示的なものなので、本開示の実施例はこれに限定されない。例えば、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シーケンスパラメータセット（ＳＰＳ）に含まれてもよい。
【0124】
次に、図８を参照すると、スライスヘッダーは、エントリポイントを識別するためのシンタックス要素としてｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１及びｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］を含むことができる。
【0125】
ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］のビット長から１を差し引いた値を示すことができる。ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１の値は、０以上３１以下の範囲を持つことができる。一例において、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、エントリポイントの総個数を表す変数ＮｕｍＥｎｔｒｙＰｏｉｎｔｓに基づいてシグナリングされることができる。例えば、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓが０より大きい場合にのみシグナリングされることができる。また、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、図７を参照して前述したｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに基づいてシグナリングされることができる。例えば、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１は、ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、１）を有する場合（すなわち、スライスヘッダー内にエントリポイント情報のシグナリングが存在する場合）にのみシグナリングされることができる。
【0126】
ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］は、ｉ番目のエントリポイントオフセットをバイト単位で表すことができ、ｏｆｆｓｅｔ＿ｌｅｎ＿ｍｉｎｕｓ１に１ビットを加算して表現できる。ＮＡＬユニット内のスライスデータは、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓに１を加算した値と同じ個数のサブセットを含むことができ、前記サブセットそれぞれを指示するインデックス値は、０以上ＮｕｍＥｎｔｒｙＰｏｉｎｔｓ以下の範囲を有することができる。ＮＡＬユニット内のスライスデータの１番目のバイトはバイト０で表現できる。
【0127】
ｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［ｉ］がシグナリングされる場合、ＮＡＬユニット内のスライスデータに含まれているエミュレーション防止バイト（ｅｍｕｌａｔｉｏｎ ｐｒｅｖｅｎｔｉｏｎ ｂｙｔｅｓ）は、サブセット識別のためにスライスデータの一部としてカウンされることができる。スライスデータの１番目のサブセットであるサブセット０は、バイト０からｅｎｔｒｙ＿ｐｏｉｎｔ＿ｏｆｆｓｅｔ＿ｍｉｎｕｓ１［０］までの構成を持つことができる。同様に、スライスデータのｋ番目のサブセットであるサブセットｋは、ｆｉｒｓｔＢｙｔｅ［ｋ］からｌａｓｔＢｙｔｅ［ｋ］までの構成を持つことができる。ここで、ｆｉｒｓｔＢｙｔｅ［ｋ］は下記数式１のように導出でき、ｌａｓｔＢｙｔｅ［ｋ］は下記数式２のように導出できる。
【0128】
【数1】
【0129】
【数2】
【0130】
数式１及び数式２中、ｋは、１以上であり、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓから１を差し引いた値の範囲を持つことができる。
【0131】
スライスデータの最後のサブセット（すなわち、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓ番目のサブセット）は、スライスデータのリメイニングバイト（ｒｅｍａｉｎｉｎｇ ｂｙｔｅｓ）で構成できる。
【0132】
一方、それぞれのタイル内のＣＴＢ行の１番目のＣＴＢを含むＣＴＵを復号化する前に、コンテキスト変数（ｃｏｎｔｅｘｔ ｖａｒｉａｂｌｅｓ）に対する所定の同期化プロセスが行われず（例えば、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝０）、スライスが１つ以上の完全な（ｃｏｍｐｌｅｔｅ）タイルを含む場合、スライスデータのそれぞれのサブセットは、同じタイル内の全てのＣＴＵに対する全ての符号化ビットで構成できる。この場合、スライスデータのサブセットの総個数は、スライス内のタイルの総個数と同じであり得る。
【0133】
これとは異なり、前記所定の同期化プロセスが行われず、スライスがシングルタイル内のＣＴＵ行に対して１つのサブセットを含む場合、ＮｕｍＥｎｔｒｙＰｏｉｎｔｓは０であり得る。この場合、スライスデータの１つのサブセットは、スライス内の全てのＣＴＵに対する全ての符号化ビットで構成できる。
【0134】
これとは異なり、前記所定の同期化プロセスが行われる場合（例えば、ｅｎｔｒｏｐｙ＿ｃｏｄｉｎｇ＿ｓｙｎｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝＝１）、それぞれのサブセットは、１つのタイル内の１つのＣＴＵ行の全てのＣＴＵに対する全ての符号化ビットで構成できる。この場合、スライスデータのサブセットの総個数は、スライス内のタイル別のＣＴＵ行の総個数と同じであり得る。
【0135】
混成ＮＡＬユニットタイプ（ｍｉｘｅｄ ＮＡＬ ｕｎｉｔ ｔｙｐｅ）の概要
【0136】
一般に、１つのピクチャに対して１つのＮＡＬユニットタイプが設定できる。上述したように、ＮＡＬユニットタイプを表すシンタックス情報は、ＮＡＬユニット内のＮＡＬユニットヘッダーに保存されてシグナリングされることができる。例えば、前記シンタックス情報はｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプはｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値を用いて特定できる。
【0137】
本開示による実施例が適用できるＮＡＬユニットタイプの一例は、下記表１の通りである。
【0138】
【表1-1】
【表1-2】
【0139】
表１を参照すると、ＶＣＬ ＮＡＬユニットタイプは、ピクチャの性質及び種類などによって、０番乃至１２番のＮＡＬユニットタイプに分類されることができる。また、ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって、１３番乃至３１番のＮＡＬユニットタイプに分類されることができる。
【0140】
ＶＣＬ ＮＡＬユニットタイプの具体例は、次の通りである。
【0141】
－ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ） ＮＡＬ ｕｎｉｔ ｔｙｐｅ（ＮＵＴ）：ＩＲＡＰピクチャのＮＡＬユニットに対するタイプ、ＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲に設定される。
【0142】
－ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ） ＮＵＴ：ＩＤＲピクチャのＮＡＬユニットに対するタイプ、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに設定される。
【0143】
－ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ） ＮＵＴ：ＣＲＡピクチャのＮＡＬユニットに対するタイプ、ＣＲＡ＿ＮＵＴに設定される。
【0144】
－ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ） ＮＵＴ：ＲＡＤＬピクチャのＮＡＬユニットに対するタイプ、ＲＡＤＬ＿ＮＵＴに設定される。
【0145】
－ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ） ＮＵＴ：ＲＡＳＬピクチャのＮＡＬユニットに対するタイプ、ＲＡＳＬ＿ＮＵＴに設定される。
【0146】
－トレーリング（Ｔｒａｉｌｉｎｇ） ＮＵＴ：トレーリングピクチャのＮＡＬユニットに対するタイプ、ＴＲＡＩＬ＿ＮＵＴに設定される。
【0147】
－ＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ） ＮＵＴ：ＧＤＲピクチャのＮＡＬユニットに対するタイプ、ＧＤＲ＿ＮＵＴに設定される。
【0148】
－ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ） ＮＵＴ：ＳＴＳＡピクチャのＮＡＬユニットに対するタイプ、ＳＴＳＡ＿ＮＵＴに設定される。
【0149】
一方、ＶＶＣ標準は、１つのピクチャが互いに異なるＮＡＬユニットタイプを有する複数のスライスを含むことを許容する。例えば、１つのピクチャは、第１ＮＡＬユニットタイプを有する少なくとも１つの第１スライスと、前記第１ＮＡＬユニットタイプとは異なる第２ＮＡＬユニットタイプを有する少なくとも１つの第２スライスを含むことができる。この場合、前記ピクチャのＮＡＬユニットタイプは、混成（ｍｉｘｅｄ）ＮＡＬユニットタイプと呼ばれることもある。このように、ＶＶＣ標準が混成ＮＡＬユニットタイプを支援することにより、コンテンツ合成過程、符号化／復号化過程などにおいて、複数のピクチャはより容易に再構成／合成できる。
【0150】
しかしながら、混成ＮＡＬユニットタイプに関する既存のスキームによれば、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有するピクチャの類型が明確ではないという問題がある。前記ピクチャの類型に応じて、ピクチャ順序、特に参照ピクチャリストに関する制約が、ビットストリーム内における正しいピクチャ順序を保障するために修正される必要がある。
【0151】
かかる問題を解決するために、本開示の実施例によれば、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有するピクチャは、ＲＡＳＬピクチャとして扱われ得る。前記ＲＡＳＬピクチャに関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャ又は１番目のＩＲＡＰピクチャである場合、前記ＲＡＳＬピクチャの出力過程はスキップされ得る。しかし、前記ＲＡＳＬピクチャの復号化過程は行われることができ、前記ＲＡＳＬピクチャは、所定の参照条件下でＲＡＤＬピクチャのインター予測のための参照ピクチャとして用いられることができる。
【0152】
以下、添付図面を参照して、本開示の実施例を詳細に説明する。
【0153】
１つのピクチャが混成ＮＡＬユニットタイプを有する場合、前記ピクチャは、互いに異なるＮＡＬユニットタイプを有する複数のサブピクチャを含むことができる。例えば、前記ピクチャは、第１ＮＡＬユニットタイプを有する少なくとも１つの第１サブピクチャ、及び第２ＮＡＬユニットタイプを有する少なくとも１つの第２サブピクチャを含むことができる。
【0154】
サブピクチャは、１つ以上のスライスを含むことができ、ピクチャ内で矩形領域を構成することができる。ピクチャ内でサブピクチャそれぞれのサイズは互いに異なるように設定されることができる。これとは異なり、１つのシーケンスに属する全てのピクチャに対して、特定の個別サブピクチャのサイズ及び位置は互いに同一に設定できる。
【0155】
図９はサブピクチャの一例を示す図である。
【0156】
図９を参照すると、１つのピクチャは、１８個のタイルに分割されることができる。前記ピクチャの左側には１２個のタイルが配置でき、前記タイルそれぞれは、４×４のＣＴＵからなる１つのスライスを含むことができる。また、前記ピクチャの右側には６つのタイルが配置でき、前記タイルそれぞれは、２×２のＣＴＵでそれぞれ構成され、垂直方向に積層される２つのスライスを含むことができる。その結果、前記ピクチャは、２４個のサブピクチャ及び２４個のスライスを含み、前記サブピクチャそれぞれは、１つのスライスを含むことができる。
【0157】
一実施例において、１つのピクチャ内のそれぞれのサブピクチャは、混成ＮＡＬユニットタイプを支援するために１つのピクチャとして扱われることができる。サブピクチャが１つのピクチャとして扱われる場合、前記サブピクチャは、他のサブピクチャの符号化／復号化結果とは関係なく独立して符号化／復号化されることができる。ここで、独立した符号化／復号化とは、サブピクチャのブロック分割構造（例えば、シングルツリー構造、デュアルツリー構造など）、予測モードタイプ（例えば、イントラ予測、インター予測など）、復号化手順などが、他のサブピクチャとは異なるように設定できることを意味することができる。例えば、第１サブピクチャがイントラ予測モードに基づいて符号化／復号された場合、前記第１サブピクチャに隣接し、１つのピクチャとして扱われる第２サブピクチャは、インター予測モードに基づいて符号化／復号化できる。
【0158】
サブピクチャが一つのピクチャとして扱われるか否かに関する情報は、上位レベルシンタックス内のシンタックス要素を用いてシグナリングされることができる。例えば、シーケンスパラメータセット（ＳＰＳ）を介して、現在サブピクチャが１つのピクチャとして扱われるか否かを示すｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされることができる。現在サブピクチャが１つのピクチャとして扱われる場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第２値（例えば、１）を有することができる。
【0159】
図１０は、混成ＮＡＬユニットタイプを有するピクチャの一例を示す図である。
【0160】
図１０を参照すると、１つのピクチャ１０００は、第１乃至第３サブピクチャ１０１０～１０３０を含むことができる。第１及び第３サブピクチャ１０１０、１０３０は、それぞれ２つのスライスを含むことができる。これとは異なり、第２サブピクチャ１０２０は４つのスライスを含むことができる。
【0161】
第１乃至第３サブピクチャ１０１０～１０３０がそれぞれ１つのピクチャとして扱われる場合、第１乃至第３サブピクチャ１０１０～１０３０は、それぞれ独立して符号化されて、互いに異なるビットストリームを構成することができる。例えば、第１サブピクチャ１０１０の符号化スライスデータは、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第１ビットストリーム（Ｂｉｔｓｔｒｅａｍ１）を構成することができる。また、第２サブピクチャ１０２０の符号化スライスデータは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第２ビットストリーム（Ｂｉｔｓｔｒｅａｍ２）を構成することができる。また、第３サブピクチャ１０３０の符号化スライスデータは、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する１つ以上のＮＡＬユニットにカプセル化されて第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ３）を構成することができる。その結果、１つのピクチャ１０００は、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴが混成された混成ＮＡＬユニットタイプを有することができる。
【0162】
一実施例において、ピクチャ内のそれぞれのサブピクチャに含まれる全てのスライスは、同じＮＡＬユニットタイプを有するように制限されることができる。例えば、第１サブピクチャ１０１０に含まれる２つのスライスはいずれも、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。また、第２サブピクチャ１０２０に含まれる４つのスライスはいずれも、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。また、第３サブピクチャ１０３０に含まれる２つのスライスはいずれも、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0163】
混成ＮＡＬユニットタイプに関する情報及びピクチャ分割に関する情報は、上位レベルシンタックス、例えばピクチャパラメータセット（ＰＰＳ）及び／又はシーケンスパラメータセット（ＳＰＳ）内でシグナリングされることができる。
【0164】
【0165】
まず、図１１を参照すると、ピクチャパラメータセット（ＰＰＳ）は、混成ＮＡＬユニットタイプに関するシンタックス要素としてｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含むことができる。
【0166】
ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを示すことができる。例えば、第１値（例えば、０）を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有しないことを示すことができる。この場合、現在ピクチャは、全てのＶＣＬ ＮＡＬユニットに対して同じＮＡＬユニットタイプ、例えば、符号化されたスライスＮＡＬユニットと同じＮＡＬユニットタイプを有することができる。これとは異なり、第２値（例えば、１）を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、現在ピクチャが混成ＮＡＬユニットタイプを有することを示すことができる。この場合、現在ピクチャのＶＣＬ ＮＡＬユニットは、ＧＤＲ＿ＮＵＴに等しいＮＡＬユニットタイプを有しないように制限されることができる。また、現在ピクチャのいずれか一つのＶＣＬ ＮＡＬユニットがＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、前記現在ピクチャの他の全てのＶＣＬ ＮＡＬユニットは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＬ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ又はＴＲＡＩＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有するように制限されることができる。
【0167】
現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャ内のそれぞれのサブピクチャは、表１を参照して前述したＶＣＬ ＮＡＬユニットタイプのうちのいずれかを有することができる。例えば、現在ピクチャ内のサブピクチャがＩＤＲサブピクチャである場合、前記サブピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有することができる。或いは、現在ピクチャ内のサブピクチャがトレーリングサブピクチャである場合、前記サブピクチャは、ＴＲＡＩＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0168】
このように、第２値（例えば、１）を有するｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、ピクチャパラメータセット（ＰＰＳ）を参照するピクチャが互いに異なるＮＡＬユニットタイプを有するスライスを含み得ることを示すことができる。ここで、前記ピクチャは、符号化器がビットストリーム構造のマッチング（ｍａｔｃｈｉｎｇ）及びオリジナルビットストリームのパラメータ間の整列（ａｌｉｇｎｍｅｎｔ）を保障（ｅｎｓｕｒｅ）しなければならないサブピクチャビットストリーム併合動作から起源することができる。前記整列の一例として、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有するスライスに対する参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ、ＲＰＬ）シンタックス要素がスライスヘッダー内に存在せず（例えば、ｉｄｒ＿ｒｐｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ＝＝０）、前記スライスを含む現在ピクチャが混成ＮＡＬユニットタイプを有しない場合（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝０）、現在ピクチャは、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプのスライスを含まないように制限できる。
【0169】
一方、出力レイヤーセット（Ｏｕｔｐｕｔ Ｌａｙｅｒ Ｓｅｔ、ＯＬＳ）内の全てのピクチャに対して混成ＮＡＬユニットタイプが適用されないように制限された場合（例えば、ｇｃｉ＿ｎｏ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ＝＝１）、ｐｐｓ＿ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、第１値（例えば、０）を有することができる。
【0170】
また、ピクチャパラメータセット（ＰＰＳ）は、ピクチャ分割に関するシンタックス要素としてｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇを含むことができる。
【0171】
ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャにピクチャ分割が適用できるか否かを示すことができる。例えば、第１値（例えば、０）を有するｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャが分割できないことを示すことができる。これとは異なり、第２値（例えば、１）を有するｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは、現在ピクチャが２つ以上のタイル又はスライスに分割できることを示すことができる。現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャは、２つ以上のタイル又はスライスに分割されるように制限できる（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝１）。
【0172】
また、ピクチャパラメータセット（ＰＰＳ）は、サブピクチャの個数を表すシンタックス要素としてｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１を含むことができる。
【0173】
ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、現在ピクチャに含まれるサブピクチャの個数から１を差し引いた値を示すことができる。ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、現在ピクチャにピクチャ分割が適用できる場合（例えば、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ＝＝１）にのみシグナリングされることができる。ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１がシグナリングされない場合、ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は、０と推論できる。一方、サブピクチャの個数を表すシンタックス要素は、ピクチャパラメータセット（ＰＰＳ）とは異なる上位レベルシンタックス、例えばシーケンスパラメータセット（ＳＰＳ）内でシグナリングされることもできる。
【0174】
一実施例において、現在ピクチャが１つのサブピクチャのみを含む場合（例えば、ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＝＝０）、現在ピクチャは、混成ＮＡＬユニットタイプを有しないように制限できる（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝０）。すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャは、２つ以上のサブピクチャを含むように制限できる（例えば、ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＞０）。
【0175】
次に、図１２を参照すると、シーケンスパラメータセット（ＳＰＳ）は、符号化／復号化時のサブピクチャの取り扱いに関連しているシンタックス要素として、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］を含むことができる。
【0176】
ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われるか否かを示すことができる。例えば、第１値（例えば、０）のｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のｉ番目のサブピクチャが１つのピクチャとして扱われないことを示すことができる。これとは異なり、第２値（例えば、１）のｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、現在ピクチャ内のｉ番目のサブピクチャがインループフィルタリング動作を除いた符号化／復号化過程で１つのピクチャとして扱われることを示すことができる。ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされない場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、第２値（例えば、１）を有すると推論できる。
【0177】
一実施例において、現在ピクチャが２つ以上のサブピクチャを含み（例えば、ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＞０）、前記サブピクチャのうちの少なくとも１つが１つのピクチャとして扱われない場合（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝＝０）、現在ピクチャは、混成ＮＡＬユニットタイプを有しないように制限できる（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝０）。すなわち、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（例えば、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇ＝＝１）、現在ピクチャ内のサブピクチャはいずれも、１つのピクチャとして扱われるように（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝１）制限できる。
【0178】
以下、本開示の実施例によるＮＡＬユニットタイプをピクチャ類型別に詳細に説明する。
【0179】
（１）ＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャ
【0180】
ＩＲＡＰピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したように、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。ＩＲＡＰピクチャは、復号化過程でインター予測のために前記ＩＲＡＰピクチャ以外の他のピクチャは参照しなくてもよい。ＩＲＡＰピクチャは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ ｄｅｃｏｄｉｎｇ ｒｅｆｒｅｓｈ）ピクチャ及びＣＲＡ（Ｃｌｅａｎ ｒａｎｄｏｍ ａｃｃｅｓｓ）ピクチャを含むことができる。
【0181】
復号化順序におけるビットストリーム内の１番目のピクチャは、ＩＲＡＰピクチャ又はＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに制限され得る。シングルレイヤーのビットストリームに対して、参照すべき必須パラメータセットが利用可能である場合、復号化順序においてＩＲＡＰピクチャに先行するピクチャが全く復号化されなくても、前記ＩＲＡＰピクチャ、及び復号化順序において前記ＩＲＡＰピクチャに後行する全ての非ＲＡＳＬ（ｎｏｎ－ＲＡＳＬ）ピクチャは、正しく（ｃｏｒｒｅｃｔｌｙ）復号化できる。
【0182】
一実施例において、ＩＲＡＰピクチャは、混成ＮＡＬユニットタイプを有しないことができる。すなわち、ＩＲＡＰピクチャに対して前述したｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇは、第１値（例えば、０）を有することができ、ＩＲＡＰピクチャ内の全てのスライスは、ＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲で互いに同じＮＡＬユニットタイプを有することができる。その結果、所定のピクチャから受信された１番目のスライスがＩＤＲ＿Ｗ＿ＲＡＤＬ乃至ＣＲＡ＿ＮＵＴの範囲のＮＡＬユニットタイプを有する場合、前記ピクチャは、ＩＲＡＰピクチャと決定できる。
【0183】
（２）ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャ
【0184】
ＣＲＡピクチャは、ＩＲＡＰピクチャのうちの１つであり、表１を参照して前述したようにＣＲＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。ＣＲＡピクチャは、復号化過程でインター予測のために前記ＣＲＡピクチャ以外の他のピクチャは参照しなくてもよい。
【0185】
ＣＲＡピクチャは、復号化順序上、ビットストリーム内で１番目のピクチャであってもよく、１番目以後のピクチャであってもよい。ＣＲＡピクチャは、ＲＡＤＬ又はＲＡＳＬピクチャに関連することができる。
【0186】
ＣＲＡピクチャに対してＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第２値（例えば、１）を有する場合、前記ＣＲＡピクチャに関連したＲＡＳＬピクチャは、ビットストリーム内に存在しないピクチャを参照するので復号化できず、その結果、画像復号化装置によって出力されないことができる。ここで、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャ（ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ ｐｉｃｔｕｒｅ）に先行するピクチャが前記リカバリポイントピクチャよりも先に出力されるか否かを示すことができる。例えば、第１値（例えば、０）を有するＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャに先行するピクチャが前記リカバリポイントピクチャよりも先に出力できることを示すことができる。この場合、ＣＲＡピクチャは、ビットストリーム内で１番目のピクチャ、又は復号化順序においてＥＯＳ（Ｅｎｄ Ｏｆ Ｓｅｑｕｅｎｃｅ）ＮＡＬユニットに後行する１番目のピクチャではない可能性がある。これは、ランダムアクセスが発生していない場合を意味することができる。これとは異なり、第２値（例えば、１）を有するＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、復号化順序においてリカバリポイントピクチャに先行するピクチャが前記リカバリポイントピクチャよりも先に出力できないことを示すことができる。この場合、ＣＲＡピクチャは、ビットストリーム内で１番目のピクチャ、又は復号化順序においてＥＯＳ ＮＡＬユニットに後行する１番目のピクチャである可能性がある。これは、ランダムアクセスが発生した場合を意味することができる。一方、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇは、実施例によってＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇと呼ばれることもある。
【0187】
ＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）内で復号化順序において現在ピクチャに後行する全てのピクチャユニット（ｐｉｃｔｕｒｅ ｕｎｉｔｓ、ＰＵｓ）に対して、前記ピクチャユニット（ＰＵｓ）に属するＣＲＡサブピクチャに含まれる１つのスライスに対する参照ピクチャリスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ［０］）及び参照ピクチャリスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ［１］）は、活性化エントリ（ａｃｔｉｖｅ ｅｎｔｒｙ）内で、復号化順序において前記ＣＲＡサブピクチャを含むピクチャに先行する如何なるピクチャも含まないように制限できる。ここで、ピクチャユニット（ＰＵ）とは、１つの符号化ピクチャに対して所定の分類規則に従って相互関連し、復号化順序において連続する複数のＮＡＬユニットを含む、ＮＡＬユニットセットを意味することができる。
【0188】
（３）ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャ
【0189】
ＩＤＲピクチャは、ＩＲＡＰピクチャのうちの１つであり、表１を参照して前述したように、ＩＤＲ＿Ｗ＿ＲＡＤＬ又はＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有することができる。ＩＤＲピクチャは、復号化過程でインター予測のために前記ＩＤＲピクチャ以外の他のピクチャは参照しなくてもよい。
【0190】
ＩＤＲピクチャは、復号化順序上、ビットストリーム内で１番目のピクチャであってもよく、１番目以後のピクチャであってもよい。それぞれのＩＤＲピクチャは、復号化順序でのＣＶＳ（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）の１番目のピクチャであり得る。
【0191】
ＩＤＲピクチャがそれぞれのＮＡＬユニットに対してＩＤＲ＿Ｗ＿ＲＡＤＬに等しいＮＡＬユニットタイプを有する場合、前記ＩＤＲピクチャは、関連したＲＡＤＬピクチャを有することができる。これとは異なり、ＩＤＲピクチャがそれぞれのＮＡＬユニットに対してＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有する場合、前記ＩＤＲピクチャは、関連したリーディングピクチャ（ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅｓ）を有しなくてもよい。一方、前記ＩＤＲピクチャは、ＲＡＳＬピクチャとは関連しなくてもよい。
【0192】
ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内で復号化順序において現在ピクチャに後行する全てのピクチャユニット（ｐｉｃｔｕｒｅ ｕｎｉｔｓ、ＰＵｓ）に対して、前記ピクチャユニット（ＰＵｓ）に属するＩＤＲサブピクチャに含まれる１つのスライスに対する参照ピクチャリスト０（例えば、ＲｅｆＰｉｃＬｉｓｔ［０］）及び参照ピクチャリスト１（例えば、ＲｅｆＰｉｃＬｉｓｔ［１］）は、活性化エントリ（ａｃｔｉｖｅ ｅｎｔｒｙ）内で、復号化順序において前記ＩＤＲサブピクチャを含むピクチャに先行する如何なるピクチャも含まないように制限できる。
【0193】
（４）ＲＡＤＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ）ピクチャ
【0194】
ＲＡＤＬピクチャは、リーディングピクチャのうちの１つであって、表１を参照して前述したようにＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0195】
ＲＡＤＬピクチャは、前記ＲＡＤＬピクチャと同じＩＲＡＰピクチャに関連したトレーリング（ｔｒａｉｌｉｎｇ）ピクチャの復号化過程で、参照ピクチャとして利用されなくてもよい。ＲＡＤＬピクチャに対してｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが第１値（例えば、０）を有する場合、前記ＲＡＤＬピクチャは、関連したＩＲＡＰピクチャが同じである全ての非リーディングピクチャ（ｎｏｎ－ｌｅａｄｉｎｇ ｐｉｃｔｕｒｅｓ）よりも復号化順序において先行することができる。ここで、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）がフィールド（ｆｉｅｌｄｓ）を表すピクチャを伝達（ｃｏｎｖｅｙ）するか、それともフレーム（ｆｒａｍｅｓ）を表すピクチャを伝達するかを示すことができる。例えば、第１値（例えば、０）を有するｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳがフレームを表すピクチャを伝達することを示すことができる。これとは異なり、第２値（例えば、１）を有するｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇは、ＣＬＶＳがフィールドを表すピクチャを伝達することを示すことができる。
【0196】
（５）ＲＡＳＬ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ）ピクチャ
【0197】
ＲＡＳＬピクチャは、リーディングピクチャのうちの１つであり、表１を参照して前述したようにＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0198】
一例において、全てのＲＡＳＬピクチャは、関連したＣＲＡピクチャのリーディングピクチャであり得る。前記ＣＲＡピクチャに対してＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第２値（例えば、１）を有する場合、前記ＲＡＳＬピクチャは、ビットストリーム内に存在しないピクチャを参照するので復号化できず、その結果として、画像復号化装置によって出力されないことができる。
【0199】
ＲＡＳＬピクチャは、非ＲＡＳＬピクチャの復号化過程で参照ピクチャとして利用されなくてもよい。ただし、ＲＡＳＬピクチャと同じレイヤーに属し、同じＣＲＡピクチャに関連するＲＡＤＬピクチャが存在する場合、前記ＲＡＳＬピクチャは、前記ＲＡＤＬピクチャに含まれるＲＡＤＬサブピクチャのインター予測のためのコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）参照ピクチャとして利用できる。
【0200】
ＲＡＳＬピクチャに対してｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが第１値（例えば、０）を有する場合、前記ＲＡＳＬピクチャは、前記ＲＡＳＬピクチャに関連したＣＲＡピクチャの全ての非リーディングピクチャに対して復号化順序において先行することができる。
【0201】
（６）トレーリング（Ｔｒａｉｌｉｎｇ）ピクチャ
【0202】
トレーリングピクチャは、関連したＩＲＡＰピクチャ又はＧＤＲピクチャに対して出力順序において後行する非ＩＲＡＰピクチャであって、ＳＴＳＡピクチャではなくてもよい。また、トレーリングピクチャは、関連したＩＲＡＰピクチャに対して復号化順序において後行することができる。すなわち、関連したＩＲＡＰピクチャに対して出力順序において後行するが、復号化順序において先行するトレーリングピクチャは、許容できない。
【0203】
（７）ＧＤＲ（Ｇｒａｄｕａｌ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャ
【0204】
ＧＤＲピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したようにＧＤＲ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0205】
（８）ＳＴＳＡ（Ｓｔｅｐ－ｗｉｓｅ Ｔｅｍｐｏｒａｌ Ｓｕｂｌａｙｅｒ Ａｃｃｅｓｓ）ピクチャ
【0206】
ＳＴＳＡピクチャは、ランダムアクセス可能なピクチャであって、表１を参照して前述したようにＳＴＳＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0207】
ＳＴＳＡピクチャは、インター予測のためにＳＴＳＡと同じＴｅｍｐｏｒａｌＩｄを有するピクチャを参照しなくてもよい。ここで、ＴｅｍｐｏｒａｌＩｄは、スケーラブル（ｓｃａｌａｂｌｅ）ビデオコーディングにおいて時間的階層性、例えば時間的サブレイヤー（ｔｅｍｐｏｒａｌ ｓｕｂｌａｙｅｒ）を指示する識別子であり得る。一例として、ＳＴＳＡピクチャは、０よりも大きいＴｅｍｐｏｒａｌＩｄを有するように制限できる。
【0208】
ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩＤを有し、復号化順序において前記ＳＴＳＡピクチャに後行するピクチャは、インター予測のために、前記ＳＴＳＡピクチャと同じＴｅｍｐｏｒａｌＩＤを有し、復号化順序において前記ＳＴＳＡピクチャに先行するピクチャを参照しなくてもよい。ＳＴＳＡピクチャは、前記ＳＴＳＡピクチャが属する現在サブレイヤーの真下位サブレイヤー（ｉｍｍｅｄｉａｔｅｌｙ ｌｏｗｅｒ ｓｕｂｌａｙｅｒ）から前記現在サブレイヤーへのアップスイッチング（ｕｐ－ｓｗｉｔｃｈｉｎｇ）を活性化させることができる。
【0209】
図１３は、サブピクチャビットストリーム併合を通じて混成ＮＡＬユニットタイプが構成される過程を説明するための図である。
【0210】
図１３を参照すると、画像符号化過程において、１つのピクチャに含まれる複数のサブピクチャそれぞれに対して互いに異なるビットストリーム（Ｂｉｔｓｔｒｅａｍ１～Ｂｉｔｓｔｒｅａｍ３）が生成できる。例えば、１つのピクチャが第１～第３サブピクチャを含む場合、第１サブピクチャに対して第１ビットストリーム（Ｂｉｔｓｔｒｅａｍ１）が生成され、第２サブピクチャに対して第２ビットストリーム（Ｂｉｔｓｔｒｅａｍ２）が生成され、第３サブピクチャに対して第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ３）が生成されることができる。この場合、それぞれのサブピクチャごとに個別に生成されるそれぞれのビットストリームは、サブピクチャビットストリームと呼ばれることがある。
【0211】
一実施例において、それぞれのサブピクチャに対して、符号化された全てのスライスは同じＮＡＬユニットタイプを有するように制限されることができる。これにより、１つのサブピクチャビットストリームに含まれる全てのＶＣＬ ＮＡＬユニットは、同じＮＡＬユニットタイプを有することができる。例えば、第１ビットストリーム（Ｂｉｔｓｔｒｅａｍ１）に含まれる全てのＶＣＬ ＮＡＬユニットは、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有し、第２ビットストリーム（Ｂｉｔｓｔｒｅａｍ２）に含まれる全てのＶＣＬ ＮＡＬユニットは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有し、第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ３）に含まれる全てのＶＣＬ ＮＡＬユニットは、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0212】
現在ピクチャに含まれる複数のサブピクチャは、画像復号化過程で併合されることができる。すなわち、複数のサブピクチャに対応する複数のサブピクチャビットストリームは、一つの単一ビットストリームに併合されることができ、前記単一ビットストリームに基づいて現在ピクチャが復号化されることができる。このとき、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かは、併合された複数のサブピクチャビットストリームが互いに異なるＮＡＬユニットタイプを有するか否かに基づいて決定されることができる。例えば、第１～第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ１～Ｂｉｔｓｔｒｅａｍ３）が併合されて一つの単一ビットストリームを構成する場合、現在ピクチャはＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有することができる。これとは異なり、第１ビットストリーム（Ｂｉｔｓｔｒｅａｍ１）と第３ビットストリーム（Ｂｉｔｓｔｒｅａｍ３）が併合されて一つの単一ビットストリームを構成する場合、現在ピクチャはＲＡＳＬ＿ＮＵＴに基づく非混成ＮＡＬユニットタイプを有することができる。
【0213】
図１４は、ピクチャ類型別の復号化順序及び出力順序を説明するための図である。
【0214】
複数のピクチャは、予測方式によってＩピクチャ、Ｐピクチャ又はＢピクチャに区分できる。Ｉピクチャは、イントラ予測のみが適用できるピクチャを意味し、他のピクチャを参照することなく復号化できる。Ｉピクチャは、イントラピクチャと呼ばれることができ、前述したＩＲＡＰピクチャを含むことができる。Ｐピクチャは、イントラ予測及び一方向インター予測が適用できるピクチャを意味し、他の１つのピクチャを参照して復号化できる。Ｂピクチャは、イントラ予測及び双方向／一方向インター予測が適用できるピクチャを意味し、他の１つ又は２つのピクチャを参照して復号化できる。Ｐピクチャ及びＢピクチャは、インターピクチャと呼ばれることもあり、前述したＲＡＤＬピクチャ、ＲＡＳＬピクチャ及びトレーリングピクチャを含むことができる。
【0215】
インターピクチャは、復号化順序及び出力順序によってリーディングピクチャ（Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ、ＬＰ）又は非リーディングピクチャ（Ｎｏｎ－Ｌｅａｄｉｎｇ Ｐｉｃｔｕｒｅ、ＮＬＰ）にさらに区分されることができる。リーディングピクチャは、復号化順序においてＩＲＡＰピクチャに後行し、出力順序においてＩＲＡＰピクチャに先行するピクチャを意味し、前述したＲＡＤＬピクチャ及びＲＡＳＬピクチャを含むことができる。非リーディングピクチャは、復号化順序及び出力順序においてＩＲＡＰピクチャに後行するピクチャを意味し、前述したトレーリングピクチャを含むことができる。
【0216】
図１４において、それぞれのピクチャ名称は、上述したピクチャ類型を示すことができる。例えば、Ｉ５ピクチャはＩピクチャ、Ｂ０、Ｂ２、Ｂ３、Ｂ４及びＢ６ピクチャはＢピクチャ、Ｐ１及びＰ７ピクチャはＰピクチャであり得る。さらに、図１４において、それぞれの矢印は、ピクチャ間の参照方向を示すことができる。例えば、Ｂ０ピクチャはＰ１ピクチャを参照して復号化できる。
【0217】
図１４を参照すると、Ｉ５ピクチャはＩＲＡＰピクチャ、例えばＣＲＡピクチャであり得る。Ｉ５ピクチャに対するランダムアクセスが行われる場合、Ｉ５ピクチャは、復号化順序上での１番目のピクチャであり得る。
【0218】
Ｂ０及びＰ１ピクチャは、復号化順序においてＩ５ピクチャに先行するピクチャであって、Ｉ５ピクチャとは別個のビデオシーケンスを構成することができる。Ｂ２、Ｂ３、Ｂ４、Ｂ６、及びＰ７ピクチャは、復号化順序においてＩ５ピクチャに後行するピクチャであって、Ｉ５ピクチャと共に１つのビデオシーケンスを構成することができる。
【0219】
Ｂ２、Ｂ３及びＢ４ピクチャは、復号化順序においてＩ５ピクチャに後行し、出力順序においてＩ５ピクチャに先行するので、リーディングピクチャに分類されることができる。Ｂ２ピクチャは、復号化順序においてＩ５ピクチャに先行するＰ１ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ２ピクチャは、ビットストリーム内に存在しないＰ１ピクチャを参照するので、正しく復号化できない。Ｂ２ピクチャのようなピクチャ類型をＲＡＳＬピクチャと呼ぶことができる。これとは異なり、Ｂ３ピクチャは、復号化順序においてＢ３ピクチャに先行するＩ５ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ３ピクチャは、既に復号化されたＩ５ピクチャを参照して正しく復号化できる。また、Ｂ４ピクチャは、復号化順序においてＢ４ピクチャに先行するＩ５ピクチャ及びＢ３ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ４ピクチャは、既に復号化されたＩ５ピクチャ及びＢ３ピクチャを参照して正しく復号化できる。Ｂ３及びＢ４ピクチャのようなピクチャ類型をＲＡＤＬピクチャと呼ぶことができる。
【0220】
一方、Ｂ６及びＰ７ピクチャは、復号化順序及び出力順序においてＩ５ピクチャに後行するので、非リーディングピクチャとして分類されることができる。Ｂ６ピクチャは、復号化順序において先行するＩ５ピクチャ及びＰ７ピクチャを参照して復号化できる。したがって、Ｉ５ピクチャに対するランダムアクセスが発生した場合、Ｂ６ピクチャは、既に復号化されたＩ５ピクチャ及びＰ７ピクチャを参照して正しく復号化できる。
【0221】
このように、１つのビデオシーケンス内で復号化過程及び出力過程はピクチャ類型に基づいて互いに異なる順で行われることができる。例えば、１つのビデオシーケンスがＩＲＡＰピクチャ、リーディングピクチャ及び非リーディングピクチャを含む場合、復号化過程は、ＩＲＡＰピクチャ、リーディングピクチャ及びノーマルピクチャの順で行われるが、出力過程は、リーディングピクチャ、ＩＲＡＰピクチャ及びノーマルピクチャの順で行われることができる。
【0222】
以下、ＲＡＳＬピクチャの類型及びランダムアクセス時の取り扱いについて詳細に説明する。
【0223】
【0224】
まず、図１５ａを参照すると、ＲＡＳＬピクチャは、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有することができる。すなわち、ビットストリーム内の全てのＶＣＬ ＮＡＬユニットがＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、前記ビットストリームに対応するピクチャは、ＲＡＳＬピクチャと決定されることができる。本開示において、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するＲＡＳＬピクチャは、ｐｕｒｅ－ＲＡＳＬピクチャと呼ばれることがある。
【0225】
また、一実施例において、ＲＡＳＬピクチャは、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴの混成ＮＡＬユニットタイプを有することもできる。図１５ｂを参照すると、ビットストリーム内の全てのＶＣＬ ＮＡＬユニットがＲＡＳＬ＿ＮＵＴ又はＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合にも、前記ビットストリームに対応するピクチャはＲＡＳＬピクチャとして扱われることができる。本開示において、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴの混成ＮＡＬユニットタイプを有するＲＡＳＬピクチャは、ｍｉｘｅｄ－ＲＡＳＬピクチャと呼ばれることがある。
【0226】
このように、ＲＡＳＬピクチャは、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するｐｕｒｅ－ＲＡＳＬピクチャ（図１５ａ参照）と、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴの混成ＮＡＬユニットタイプを有するｍｉｘｅｄ－ＲＡＳＬピクチャ（図１５ｂ参照）とを含むことができる。
【0227】
図１６ａ及び図１６ｂは、ランダムアクセス時のＲＡＳＬピクチャの取り扱いを説明するための図である。具体的には、図１６ａはｐｕｒｅ－ＲＡＳＬピクチャの場合を示し、図１６ｂはｍｉｘｅｄ－ＲＡＳＬピクチャの場合を示す。図１６ａ及び図１６ｂにおいて、複数のピクチャの基本的な構成、例えばピクチャの類型及び個数は、図１４を参照して上述した通りであり、これについての重複説明は省略する。
【0228】
ｐｕｒｅ－ＲＡＳＬピクチャに関連している（ａｓｓｏｃｉａｔｅｄ）ＩＲＡＰピクチャが復号化過程又はランダムアクセスの始点であるか、或いは復号化順に１番目のＩＲＡＰピクチャである場合、前記ｐｕｒｅ－ＲＡＳＬピクチャに対する復号化過程及び出力過程はいずれもスキップされることができる。その結果、前記ｐｕｒｅ－ＲＡＳＬピクチャは、インター予測のための参照ピクチャとして用いられることができない。
【0229】
例えば、図１６ａを参照すると、Ｂ２ピクチャは、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するｐｕｒｅ－ＲＡＳＬピクチャであり得る。Ｂ２ピクチャは、ＩＲＡＰピクチャであるＩ５ピクチャに関連し、復号化順にＩ５ピクチャに先行するＰ１ピクチャを参照して復号化されることができる。したがって、Ｉ５ピクチャがランダムアクセスの始点となる場合、Ｂ２ピクチャに対して復号化過程及び出力過程はいずれもスキップされることができ、Ｂ２ピクチャは他のピクチャによって参照されることができない。
【0230】
これとは異なり、一実施例において、ｍｉｘｅｄ－ＲＡＳＬピクチャに関連しているＩＲＡＰピクチャが復号化過程又はランダムアクセスの始点であるか、或いは復号化順に１番目のＩＲＡＰピクチャである場合、前記ｍｉｘｅｄ－ＲＡＳＬピクチャに対して出力過程のみスキップされることができる。すなわち、前記ｍｉｘｅｄ－ＲＡＳＬピクチャに対する復号化過程が行われることができ、その結果、前記ｍｉｘｅｄ ＲＡＳＬピクチャはインター予測のための参照ピクチャとして用いられることができる。
【0231】
例えば、図１６ｂを参照すると、Ｂ２ピクチャは、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴの混成ＮＡＬユニットタイプを有するｍｉｘｅｄ－ＲＡＳＬピクチャであり得る。Ｂ２ピクチャは、ＩＲＡＰピクチャであるＩ５ピクチャに関連し、Ｂ２ピクチャ内にＲＡＤＬ＿ＮＵＴを有する第１ＶＣＬ ＮＡＬユニットは、復号化順にＩ５ピクチャに先行するＰ１ピクチャを参照せずに復号化されることができる。したがって、Ｉ５ピクチャがランダムアクセスの始点となる場合、Ｂ２ピクチャに対する復号化過程が行われることができ、Ｂ２ピクチャは他のピクチャ、例えばＢ４ピクチャによって参照されることができる。
【0232】
しかし、Ｂ２ピクチャ内にＲＡＳＬ＿ＮＵＴを有する第２ＶＣＬ ＮＡＬユニットは、依然としてＰ１ピクチャを参照して復号化されることができるので、Ｂ２ピクチャに対する復号化過程は、第２ＶＣＬ ＮＡＬユニットに対しては正しい復号化結果を保障することができない。よって、Ｉ５ピクチャがランダムアクセスの始点となる場合、Ｂ２ピクチャに対する出力過程はスキップされることができる。
【0233】
このように、ＩＲＡＰピクチャが復号化過程又はランダムアクセスの始点であるか、或いは復号化順に１番目のＩＲＡＰピクチャである場合、前記ＩＲＡＰピクチャに関連するＲＡＳＬピクチャの出力過程は、前記ＲＡＳＬピクチャがｐｕｒｅ－ＲＡＳＬピクチャであるか、それともｍｉｘｅｄ－ＲＡＳＬピクチャであるかに関係なくスキップされることができる。一実施例において、ＩＲＡＰピクチャが復号化過程又はランダムアクセスの始点であるか、或いは復号化順に１番目のＩＲＡＰピクチャであるかは、前述したＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇ（又は、ＮｏＯｕｔｐｕｔＢｅｆｏｒｅＲｅｃｏｖｅｒｙＦｌａｇ）に基づいて決定されることができる。例えば、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第１値（例えば、０）を有する場合、ＩＲＡＰピクチャは、前記始点又は１番目のＩＲＡＰピクチャではなくてもよい。この場合、ＩＲＡＰピクチャに関連しているＲＡＳＬピクチャに対する出力過程はスキップされなくてもよい。これとは異なり、ＮｏＩｎｃｏｒｒｅｃｔＰｉｃＯｕｔｐｕｔＦｌａｇが第２値（例えば、１）を有する場合、ＩＲＡＰピクチャは、前記始点又は１番目のＩＲＡＰピクチャであってもよい。この場合、ＩＲＡＰピクチャに関連しているＲＡＳＬピクチャに対する出力過程はスキップされてもよい。
【0234】
一方、前記ＩＲＡＰピクチャに関連しているＲＡＳＬピクチャの復号化過程は、前記ＲＡＳＬピクチャがｐｕｒｅ－ＲＡＳＬピクチャである場合にのみスキップされることができる。一実施例において、ビットストリーム適合性テストのための代替タイミング（ａｌｔｅｒｎａｔｉｖｅ ｔｉｍｉｎｇ）が用いられる場合、復号化順に１番目のＩＲＡＰピクチャに関連しているｐｕｒｅ－ＲＡＳＬピクチャは復号化過程から除外できる。
【0235】
上述したＲＡＳＬピクチャのピクチャ類型による復号化過程及び出力過程をまとめると、図１７に示す通りである。
【0236】
図１７は、本開示の一実施例によるＲＡＳＬピクチャの復号化過程及び出力過程を示すフローチャートである。
【0237】
図１７の復号化過程及び出力過程は、図３の画像復号化装置によって行われることができる。例えば、復号化過程は、画像復号化装置の少なくとも１つのプロセッサによって行われることができ、出力過程は、前記プロセッサの制御下で画像復号化装置の出力インターフェースを介して行われることができる。
【0238】
図１７を参照すると、画像復号化装置は、現在ビデオシーケンス内でＩＲＡＰピクチャが復号化順に１番目のピクチャ（例えば、復号化過程又はランダムアクセスの始点）であるか否かを判別することができる（Ｓ１７１０）。
【0239】
現在ビデオシーケンス内でＩＲＡＰピクチャが１番目のピクチャではない場合（Ｓ１７１０の「ＮＯ」）、画像復号化装置は、現在ピクチャに対して一般な復号化過程及び出力過程を行うことができる（Ｓ１７２０）。例えば、現在ピクチャがリーディングピクチャである場合、現在ピクチャは、前記ＩＲＡＰピクチャよりも後で復号化されるが、前記ＩＲＡＰピクチャより先に出力されることができる。これとは異なり、現在ピクチャが非リーディングピクチャである場合、現在ピクチャは、前記ＩＲＡＰピクチャよりも後で復号化され、後で出力されることができる。
【0240】
現在ビデオシーケンス内でＩＲＡＰピクチャが１番目のピクチャである場合（Ｓ１７１０の「ＹＥＳ」）、画像復号化装置は、現在ピクチャがＲＡＳＬピクチャであるか否かを判別することができる（Ｓ１７３０）。
【0241】
現在ピクチャがＲＡＳＬピクチャではない場合（Ｓ１７３０の「ＮＯ」）、画像復号化装置は、現在ピクチャに対して前述したような一般復号化過程及び出力過程を行うことができる（Ｓ１７２０）。
【0242】
現在ピクチャがＲＡＳＬピクチャである場合（Ｓ１７３０の「ＹＥＳ」）、画像復号化装置は、現在ピクチャが混成ＮＡＬユニットタイプを有するか否かを判別することができる（Ｓ１７４０）。
【0243】
現在ピクチャが混成ＮＡＬユニットタイプを有しない場合（すなわち、現在ピクチャがｐｕｒｅ－ＲＡＳＬピクチャである場合）（Ｓ１７４０の「ＮＯ」）、画像復号化装置は、現在ピクチャに対する復号化過程及び出力過程をいずれもスキップすることができる（Ｓ１７５０）。前述したように、ｐｕｒｅ－ＲＡＳＬピクチャは、復号化順にＩＲＡＰピクチャに先行する他のピクチャを参照して復号化されることができる。その結果、ＩＲＡＰピクチャが復号化順に１番目のピクチャとなる場合、ｐｕｒｅ－ＲＡＳＬピクチャは正しく復号化されることができない。したがって、この場合、前記ＩＲＡＰピクチャに関連しているｐｕｒｅ－ＲＡＳＬピクチャに対する復号化過程及び出力過程はいずれもスキップされることができる。
【0244】
これとは異なり、現在ピクチャが混成ＮＡＬユニットタイプを有する場合（すなわち、現在ピクチャがｍｉｘｅｄ－ＲＡＳＬピクチャである場合）（Ｓ１７４０の「ＹＥＳ」）、画像復号化装置は、現在ピクチャに対する出力過程のみをスキップすることができる（Ｓ１７６０）。前述したように、ｍｉｘｅｄ－ＲＡＳＬピクチャは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する少なくとも１つの第１サブピクチャを含むことができ、前記第１サブピクチャは、１つのピクチャとして扱われることができる（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ［ｉ］＝１）。前記第１サブピクチャは、ｐｕｒｅ－ＲＡＳＬピクチャとは異なり、復号化順にＩＲＡＰピクチャに先行する他のピクチャを参照せずに復号化されることができる。その結果、ＩＲＡＰピクチャが復号化順に１番目のピクチャになっても、前記第１サブピクチャは正しく復号化されることができる。したがって、この場合、前記ＩＲＡＰピクチャに関連しているｍｉｘｅｄ－ＲＡＳＬピクチャに対する復号化過程は行われることができる。一方、ｍｉｘｅｄ－ＲＡＳＬピクチャは、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する少なくとも１つの第２サブピクチャをさらに含むことができる。前記第２サブピクチャは、ｐｕｒｅ－ＲＡＳＬピクチャと同様に、復号化順にＩＲＡＰピクチャに先行する他のピクチャを参照して復号化されることができる。その結果、ＩＲＡＰピクチャが復号化順に１番目のピクチャとなる場合、前記第２サブピクチャは正しく復号化されることができない。したがって、この場合、前記ＩＲＡＰピクチャに関連しているｍｉｘｅｄ－ＲＡＳＬピクチャに対する出力過程はスキップされることができる。
【0245】
このように、現在ビデオシーケンス内でＩＲＡＰピクチャが復号化過程又はランダムアクセスの始点であるか、或いは復号化順に１番目のＩＲＡＰピクチャである場合、前記ＩＲＡＰピクチャに関連しているＲＡＳＬピクチャの出力過程は、前記ＲＡＳＬピクチャがｐｕｒｅ－ＲＡＳＬピクチャであるか、それともｍｉｘｅｄ－ＲＡＳＬピクチャであるか否かに関係なくスキップされることができる。これとは異なり、前記ＩＲＡＰピクチャに関連しているＲＡＳＬピクチャの復号化過程は、前記ＲＡＳＬピクチャがｐｕｒｅ－ＲＡＳＬピクチャである場合にのみスキップされることができる。
【0246】
一方、図１７では、ステップＳ１７１０がステップＳ１７２０よりも先に行われると示されているが、これは、実施例によって様々に変形可能である。例えば、ステップＳ１７１０は、ステップＳ１７２０と同時に行われてもよく、ステップＳ１７１０よりも後で行われてもよい。
【0247】
図１８ａ及び図１８ｂは、本開示の一実施例によるＲＡＳＬピクチャの参照条件を説明するための図である。具体的には、図１８ａはｐｕｒｅ－ＲＡＳＬピクチャの場合を示し、図１８ｂはｍｉｘｅｄ－ＲＡＳＬピクチャの場合を示す。
【0248】
【0249】
（１）参照条件１
【0250】
ＲＡＤＬピクチャによって参照されるＲＡＳＬピクチャは、ｍｉｘｅｄ－ＲＡＳＬピクチャに制限されることができる。例えば、ＲＡＳＬピクチャがＲＡＳＬ＿ＮＵＴを有するスライスのみを含む場合、前記ＲＡＳＬピクチャは、ＲＡＤＬピクチャによって参照できない（図１８ａ参照）。これとは異なり、ＲＡＳＬピクチャが、ＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有するスライス、及びＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有するスライスを全て含む場合、前記ＲＡＳＬピクチャはＲＡＤＬピクチャによって参照されることができる（図１８ｂ参照）。
【0251】
（２）参照条件２
【0252】
ａ）ＲＡＳＬピクチャを参照するＲＡＤＬピクチャは、少なくとも２つのサブピクチャを含むように制限されることができる。
【0253】
ｂ）また、前記サブピクチャそれぞれは、独立した１つのピクチャとして扱われるように制限されることができる（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝１）。
【0254】
ｃ）また、ＲＡＤＬピクチャによって参照されるＲＡＳＬピクチャは、少なくとも２つのサブピクチャを含み、前記サブピクチャのうちの少なくとも１つは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有するように制限されることができる。
【0255】
ｄ）また、ＲＡＳＬピクチャ内でＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有するサブピクチャは、独立した１つのピクチャとして扱われるように制限されることができる（例えば、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］＝１）。
【0256】
ｅ）また、ＲＡＤＬピクチャ内の特定サブピクチャ（ｓｕｂｐｉｃＡ）がＲＡＳＬピクチャを参照する場合、前記ＲＡＳＬピクチャ内における前記特定サブピクチャ（ｓｕｂｐｉｃＡ）のコロケーテッド（ｃｏｌｌｏｃａｔｅｄ）サブピクチャは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する１つ以上のスライスを含むように制限されることができる。
【0257】
例えば、図１８ｂに示すように、２つ以上のサブピクチャ（Ｓｕｂｐｉｃ１、Ｓｕｂｐｉｃ２、及びＳｕｂｐｉｃ３）を含み、前記サブピクチャのうちの少なくとも１つ（Ｓｕｂｐｉｃ２）がＲＡＤＬ＿ＮＵＴを有するｍｉｘｅｄ－ＲＡＳＬピクチャのみが、ＲＡＤＬピクチャによって参照されることができる。この場合、ｍｉｘｅｄ－ＲＡＳＬピクチャ内でＲＡＤＬ＿ＮＵＴを有する第２サブピクチャ（ｓｕｂｐｉｃ２）は、独立した１つのピクチャとして扱われることができる。また、前記第２サブピクチャ（Ｓｕｂｐｉｃ２）のみがＲＡＤＬピクチャ内の特定サブピクチャのコロケーテッドサブピクチャになることができる。
【0258】
一方、現在ピクチャがｍｉｘｅｄ－ＲＡＳＬピクチャのように混成ＮＡＬユニットタイプを有する場合、現在ピクチャ内の複数のサブピクチャに対して複数のサブピクチャビットストリームが生成されることができる。前記複数のサブピクチャビットストリームは、復号化過程で併合されて一つの単一ビットストリームを構成することができる。前記単一ビットストリームは単一レイヤービットストリームと呼ばれることもあり、前記ビットストリーム適合性（ｃｏｎｆｏｒｍａｎｃｅ）を満たすために以下の制約事項が適用されることができる。
【0259】
－（制約事項１）ビットストリーム内で復号化順に１番目のピクチャ以外のそれぞれのピクチャは、復号化順に以前のＩＲＡＰピクチャに関連していると見なされる。
【0260】
－（制約事項２）１つのピクチャがＩＲＡＰピクチャのリーディングピクチャである場合、前記ピクチャはＲＡＤＬ又はＲＡＳＬピクチャでなければならない。
【0261】
－（制約事項３）１つのピクチャがＩＲＡＰピクチャのトレーリングピクチャである場合、前記ピクチャはＲＡＤＬ又はＲＡＳＬピクチャであってはならない。
【0262】
－（制約事項４）ビットストリーム内には、ＩＤＲピクチャに関連している如何なるＲＡＳＬピクチャも存在してはならない。
【0263】
－（制約事項５）ビットストリーム内には、ＩＤＲ＿Ｎ＿ＬＰに等しいＮＡＬユニットタイプを有するＩＤＲピクチャに関連している如何なるＲＡＤＬピクチャも存在してはならない。この場合、参照すべき必須パラメータセットが（ビットストリーム内で又は外部手段を介して）利用可能である場合、ＩＲＡＰピクチャユニット（ＰＵ）以前の全てのピクチャユニット（ＰＵｓ）を破棄（ｄｉｓｃａｒｄ）することにより、前記ＩＲＡＰピクチャユニット（ＰＵ）の位置でランダムアクセス（及び、ＩＲＡＰピクチャとこれに連続する全ての非ＲＡＳＬピクチャの正しい復号化）が可能であり得る。
【0264】
－（制約事項６）復号化順にＩＲＡＰピクチャに先行する全てのピクチャは、出力順に前記ＩＲＡＰピクチャに先行しなければならず、出力順に前記ＩＲＡＰピクチャに関連している全てのＲＡＤＬピクチャに先行しなければならない。
【0265】
－（制約事項７）ＣＲＡピクチャに関連している全てのＲＡＳＬピクチャは、前記ＣＲＡピクチャに関連している全てのＲＡＤＬピクチャに対して出力順に先行しなければならない。
【0266】
－（制約事項８）ＣＲＡピクチャに関連している全てのＲＡＳＬピクチャは、復号化順に前記ＣＲＡピクチャに先行する全てのＩＲＡＰピクチャに対して出力順に後行しなければならない。
【0267】
－（制約事項９）ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇが第１値（例えば、０）を有し、現在ピクチャがＩＲＡＰピクチャに関連しているリーディングピクチャである場合、前記現在ピクチャは、前記ＩＲＡＰピクチャに関連している全ての非リーディングピクチャに対して復号化順に先行しなければならない。或いは、ＩＲＡＰピクチャに関連している１番目のリーディングピクチャｐｉｃＡ及び最後のリーディングピクチャｐｉｃＢに対して、復号化順にｐｉｃＡに先行する１つの非リーディングピクチャが存在しなければならず、復号化順にｐｉｃＡとｐｉｃＢとの間には何らかの非リーディングピクチャは存在してはならない。
【0268】
【0269】
図１９は、本開示の一実施例による画像符号化方法を示すフローチャートである。
【0270】
図１９の画像符号化方法は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ１９１０は、画像分割部１１０によって行われ、ステップＳ１９２０及びステップＳ１９３０は、エントロピー符号化部１９０によって行われることができる。
【0271】
図１９を参照すると、画像符号化装置は、現在ピクチャを２つ以上のサブピクチャに分割することができる（Ｓ１９１０）。現在ピクチャの分割情報は、上位レベルシンタックス内の１つ以上のシンタックス要素を用いてシグナリングされることができる。例えば、図７を参照して前述したピクチャパラメータセット（ＰＰＳ）を介して、現在ピクチャが分割されるか否かを示すｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇ、及び現在ピクチャに含まれるサブピクチャの個数を示すｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１がシグナリングされることができる。現在ピクチャが２つ以上のサブピクチャに分割される場合、ｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇは第１値（例えば、０）を有し、ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓは０よりも大きい値を有することができる。
【0272】
現在ピクチャ内のサブピクチャそれぞれは、１つのピクチャとして扱われることができる。サブピクチャが１つのピクチャとして扱われる場合、前記サブピクチャは、他のサブピクチャの符号化／復号化結果とは関係なく独立して符号化／復号化されることができる。符号化／復号化の際に、サブピクチャの取り扱いに関する情報が上位レベルシンタックス内のシンタックス要素を用いてシグナリングされることができる。例えば、図１２を参照して前述したシーケンスパラメータセット（ＳＰＳ）を介して、現在ピクチャ内のそれぞれのサブピクチャが１つのピクチャとして扱われるか否かを示すｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされることができる。現在ピクチャ内のｉ番目のサブピクチャがインループフィルタリング動作を除いた符号化／復号化過程で１つのピクチャとして扱われる場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は第２値（例えば、１）を有することができる。一方、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされない場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、第２値（例えば、１）を有すると推論されることができる。
【0273】
現在ピクチャ内のサブピクチャの少なくとも一部は、互いに異なるＮＡＬユニットタイプを有することができる。例えば、現在ピクチャが第１サブピクチャ及び第２サブピクチャを含む場合、前記第１サブピクチャは、第１ＮＡＬユニットタイプを有し、前記第２サブピクチャは、前記第１ＮＡＬユニットタイプとは異なる第２ＮＡＬユニットタイプを有することができる。サブピクチャが有することが可能なＮＡＬユニットタイプの一例は、表１を参照して前述した通りである。
【0274】
現在ピクチャ内のそれぞれのサブピクチャに含まれる全てのスライスは、同じＮＡＬユニットタイプを有することができる。上述した例において、前記第１サブピクチャに含まれる全てのスライスは、前記第１ＮＡＬユニットタイプを有することができ、前記第２サブピクチャに含まれる全てのスライスは、前記第２ＮＡＬユニットタイプを有することができる。
【0275】
画像符号化装置は、現在ピクチャ内のそれぞれのサブピクチャのＮＡＬユニットタイプを決定することができる（Ｓ１９２０）。
【0276】
一実施例において、サブピクチャのＮＡＬユニットタイプは、サブピクチャ類型に基づいて決定されることができる。例えば、サブピクチャがＩＲＡＰサブピクチャである場合、前記サブピクチャのＮＡＬユニットタイプは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴと決定されることができ。また、サブピクチャがＲＡＳＬサブピクチャである場合、前記サブピクチャのＮＡＬユニットタイプはＲＡＳＬ＿ＮＵＴと決定されることができる。
【0277】
一方、現在ピクチャ内のサブピクチャが有することが可能なＮＡＬユニットタイプの組み合わせは、所定の混成制約条件に基づいて決定されることができる。例えば、現在ピクチャ内の１つ以上のスライスがＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、現在ピクチャ内の他の全てのスライスは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ又はＴＲＡＩＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。また、現在ピクチャ内の１つ以上のスライスがＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、現在ピクチャ内の他の全てのスライスは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0278】
一実施例において、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有する現在ピクチャは、所定のＩＲＡＰ（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ）ピクチャに関連しているＲＡＳＬピクチャとして扱われることができ、ｍｉｘｅｄ－ＲＡＳＬピクチャと呼ばれることがある。ここで、ＩＲＡＰピクチャは、ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）ピクチャを含むことができる。
【0279】
一実施例において、ｍｉｘｅｄ－ＲＡＳＬピクチャは、前記ｍｉｘｅｄ－ＲＡＳＬピクチャに等しいＩＲＡＰピクチャを参照するＲＡＤＬピクチャの参照ピクチャとして用いられることができる。この場合、図１８ａ及び図１８ｂを参照して前述したような所定の参照条件が適用できる。
【0280】
画像符号化装置は、決定されたＮＡＬユニットタイプに基づいて、現在ピクチャ内のそれぞれのサブピクチャを符号化することができる（Ｓ１９３０）。このとき、それぞれのスライスに対する符号化過程は所定の予測モードに基づいてＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）単位で行われることができるのは、前述した通りである。一方、それぞれのサブピクチャは、独立して符号化され、互いに異なる（サブピクチャ）ビットストリームを構成することができる。例えば、第１サブピクチャの符号化情報を含む第１（サブピクチャ）ビットストリームが構成され、第２サブピクチャの符号化情報を含む第２（サブピクチャ）ビットストリームが構成されることができる。
【0281】
以上、本開示の一実施例によれば、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有するピクチャは、ＲＡＳＬピクチャとして扱われることができる。前記ＲＡＳＬピクチャは、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するＲＡＳＬピクチャとは異なり、所定の参照条件下でＲＡＤＬピクチャによって参照されることができる。
【0282】
図２０は、本開示の一実施例による画像復号化方法を示すフローチャートである。
【0283】
図２０の画像復号化方法は、図３の画像復号化装置によって行われることができる。例えば、ステップＳ２０１０及びステップＳ２０２０は、エントロピー復号化部２１０によって行われ、ステップＳ２０３０は、逆量子化部２２０乃至イントラ予測部２６５によって行われることができる。
【0284】
図２０を参照すると、画像復号化装置は、ビットストリームから、符号化された画像データを含む少なくとも1つのＮＡＬユニットに関するＮＡＬユニットタイプ情報を取得することができる（Ｓ２０１０）。ここで、符号化された画像データは、スライスデータを含むことができ、符号化された画像データを含むＮＡＬユニットとは、ＶＣＬ ＮＡＬユニットを意味することができる。また、ＮＡＬユニットタイプ情報は、ＮＡＬユニットタイプに関連しているシンタックス要素を含むことができる。例えば、ＮＡＬユニットタイプ情報は、ＮＡＬユニットヘッダーから取得されるシンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを含むことができる。また、ＮＡＬユニットタイプ情報は、ピクチャパラメータセット（ＰＰＳ）から取得されるシンタックス要素ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含むことができる。
【0285】
画像復号化装置は、取得されたＮＡＬユニットタイプ情報に基づいて、現在ピクチャ内の１つ以上のスライスが有する少なくとも１つのＮＡＬユニットタイプを決定することができる（Ｓ２０２０）。
【0286】
ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが第１値（例えば、０）を有する場合、現在ピクチャは、混成ＮＡＬユニットタイプを有しなくてもよい。この場合、現在ピクチャ内の全てのスライスは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に基づいて決定される互いに同じＮＡＬユニットタイプを有することができる。
【0287】
これとは異なり、ｍｉｘｅｄ＿ｎａｌｕ＿ｔｙｐｅｓ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが第２値（例えば、１）を有する場合、現在ピクチャは、混成ＮＡＬユニットタイプを有することができる。この場合、現在ピクチャは、それぞれ１つのピクチャとして扱われる２つ以上のサブピクチャを含むことができる。前記サブピクチャのうちの少なくとも一部は、互いに異なるＮＡＬユニットタイプを有することができる。例えば、現在ピクチャが第１～第３サブピクチャを含む場合、前記第１サブピクチャは第１ＮＡＬユニットタイプを有し、前記第２サブピクチャは第２ＮＡＬユニットタイプを有し、前記第３サブピクチャは第３ＮＡＬユニットタイプを有することができる。このとき、前記第１～第３ＮＡＬユニットタイプは、いずれも互いに異なってよく、前記第１ＮＡＬユニットタイプは、第２ＮＡＬタイプと同じであるものの、第３ＮＡＬユニットタイプとは異なってもよい。前記サブピクチャそれぞれに含まれる全てのスライスは同じＮＡＬユニットタイプを有することができる。
【0288】
一方、現在ピクチャ内のスライスが有することが可能なＮＡＬユニットタイプの組み合わせは、所定の混成制約条件に基づいて決定されることができる。例えば、現在ピクチャ内の１つ以上のスライスがＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ又はＣＲＡ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、現在ピクチャ内の他の全てのスライスは、ＩＤＲ＿Ｗ＿ＲＡＤＬ、ＩＤＲ＿Ｎ＿ＬＰ、ＣＲＡ＿ＮＵＴ又はＴＲＡＩＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。さらに、現在ピクチャ内の１つ以上のスライスがＲＡＳＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する場合、現在ピクチャ内の他の全てのスライスは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有することができる。
【0289】
一方、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、現在ピクチャの類型は、スライスが有するＮＵＴ値に基づいて決定されることができる。例えば、現在ピクチャ内のスライスがＣＲＡ＿ＮＵＴ及びＩＤＲ＿ＲＡＤＬのＮＡＬユニットタイプを有する場合、現在ピクチャの類型はＩＲＡＰピクチャと決定されることができる。また、現在ピクチャ内のスライスがＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴのＮＡＬユニットタイプを有する場合、現在ピクチャの類型はＲＡＳＬピクチャと決定されることができる。すなわち、現在ピクチャ内の少なくとも１つのスライスがＲＡＳＬ＿ＮＵＴを有することに基づいて、現在ピクチャの類型はＲＡＳＬピクチャと決定されることができる。
【0290】
一実施例において、現在ピクチャが混成ＮＡＬユニットタイプを有する場合、現在ピクチャは、２つ以上のサブピクチャを含むように制限されることができる。また、現在ピクチャ内のそれぞれのサブピクチャは、１つのピクチャとして扱われるように制限されることができる。例えば、現在ピクチャが混成ＮＡＬユニットタイプのＲＡＳＬピクチャ（すなわち、ｍｉｘｅｄ－ＲＡＳＬピクチャ）である場合、現在ピクチャは、それぞれ１つのピクチャとして扱われる２つ以上のサブピクチャを含むことができる。このとき、前記サブピクチャのうちの少なくとも１つは、ＲＡＤＬ＿ＮＵＴに等しいＮＡＬユニットタイプを有する１つ以上のスライスを含むことができる。
【0291】
画像復号化装置は、決定されたＮＡＬユニットタイプに基づいて現在ピクチャ内のそれぞれのスライスを復号化することができる（Ｓ２０３０）。このとき、それぞれのスライスに対する復号化過程は所定の予測モードに基づいてＣＵ（ｃｏｄｉｎｇ ｕｎｉｔ）単位で行われ得るのは、前述した通りである。
【0292】
一方、現在ピクチャがＲＡＳＬピクチャであり、現在ピクチャに関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャ（例えば、復号化過程又はランダムアクセスの始点）である場合、現在ピクチャは、ＲＡＤＬ＿ＮＵＴを有する１つ以上のスライスを含むか否かに基づいて選択的に復号化できる。例えば、現在ピクチャがＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するｐｕｒｅ－ＲＡＳＬピクチャであり、現在ピクチャに関連しているＩＲＡＰピクチャに対してランダムアクセスが行われる場合、現在ピクチャの復号化過程はスキップされることができる。これとは異なり、現在ピクチャがＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有するｍｉｘｅｄ－ＲＡＳＬピクチャであり、現在ピクチャに関連しているＩＲＡＰピクチャに対してランダムアクセスが行われる場合、現在ピクチャの復号化過程が行われることができる。ここで、ＩＲＡＰピクチャはＣＲＡピクチャを含むことができる。
【0293】
一実施例において、ｍｉｘｅｄ－ＲＡＳＬピクチャは、複数のサブピクチャを含むことができる。この場合、前記サブピクチャそれぞれは、一つの独立したピクチャとして扱われることができる。サブピクチャが一つの独立したピクチャとして扱われるか否かに関する情報は、上位レベルシンタックス内のシンタックス要素を用いてシグナリングされることができる。例えば、シーケンスパラメータセット（ＳＰＳ）を介して、現在サブピクチャが１つのピクチャとして扱われるか否かを示すｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］がシグナリングされることができる。現在サブピクチャが１つのピクチャとして扱われる場合、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］は、第２値（例えば、１）を有することができる。また、前記サブピクチャそれぞれに含まれる全てのスライスは、互いに同じＮＡＬユニットタイプを有することができる。
【0294】
一実施例において、ｍｉｘｅｄ－ＲＡＳＬピクチャに含まれる複数のサブピクチャのうち、ＲＡＤＬ＿ＮＵＴを有する少なくとも１つのサブピクチャは、ｍｉｘｅｄ－ＲＡＳＬピクチャと同じＩＲＡＰピクチャに関連しているＲＡＤＬピクチャの参照ピクチャとして用いられることができる。
【0295】
一実施例において、ｍｉｘｅｄ－ＲＡＳＬピクチャに含まれる複数のサブピクチャのうち、ＲＡＳＬ＿ＮＵＴを有する第１サブピクチャは、前記複数のサブピクチャのうち、ＲＡＤＬ＿ＮＵＴを有する第２サブピクチャに対して出力順に先行することができる。一方、ｍｉｘｅｄ－ＲＡＳＬピクチャに関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャ（例えば、復号化過程又はランダムアクセスの始点）である場合、ｍｉｘｅｄ－ＲＡＳＬピクチャの出力過程はスキップされることができる。
【0296】
以上、本開示の一実施例によれば、ＲＡＳＬ＿ＮＵＴ及びＲＡＤＬ＿ＮＵＴに基づく混成ＮＡＬユニットタイプを有するピクチャは、ＲＡＳＬピクチャとして扱われることができる。前記ＲＡＳＬピクチャは、ｍｉｘｅｄ－ＲＡＳＬピクチャと呼ばれることがあり、ＲＡＳＬ＿ＮＵＴの単一ＮＡＬユニットタイプを有するＲＡＳＬピクチャは、ｐｕｒｅ－ＲＡＳＬピクチャと呼ばれることがある。関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャである場合、ｍｉｘｅｄ－ＲＡＳＬピクチャに対しては出力過程のみがスキップされることができる。これにより、ｍｉｘｅｄ－ＲＡＳＬピクチャは、所定の参照条件下でＲＡＤＬピクチャの参照ピクチャとして用いられることができる。この点で、ｍｉｘｅｄ－ＲＡＳＬピクチャは、関連しているＩＲＡＰピクチャが復号化順に１番目のピクチャである場合、復号化過程及び出力過程が全てスキップされるｐｕｒｅ－ＲＡＳＬピクチャとは異なり得る。
【0297】
本開示で説明されたシンタックス要素の名称は、当該シンタックス要素がシグナリングされる位置に関する情報を含むことができる。例えば、「ｓｐｓ＿」で始まるシンタックス要素は、当該シンタックス要素がシーケンスパラメータセット（ＳＰＳ）でシグナリングされることを意味することができる。さらに、「ｐｐｓ＿」、「ｐｈ＿」、「ｓｈ＿」などで始まるシンタックス要素は、当該シンタックス要素がピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダー、スライスヘッダーなどでそれぞれシグナリングされることを意味することができる。
【0298】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。
【0299】
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0300】
本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0301】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0302】
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
【0303】
図２１は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【0304】
図２１に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0305】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0306】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0307】
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0308】
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0309】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0310】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0311】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【0312】
本開示による実施例は、画像を符号化／復号化するために利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15a】
【図15b】
【図16a】
【図16b】
【図17】
【図18a】
【図18b】
【図19】
【図20】
【図21】
