▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
特開2024-40459サブピクチャ及びピクチャヘッダーに関する情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040459
(43)【公開日】2024-03-25
(54)【発明の名称】サブピクチャ及びピクチャヘッダーに関する情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240315BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024021020
(22)【出願日】2024-02-15
(62)【分割の表示】P 2022543104の分割
【原出願日】2021-01-14
(31)【優先権主張番号】62/961,188
(32)【優先日】2020-01-14
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ヘンドリー ヘンドリー
(57)【要約】
【課題】サブピクチャ及びピクチャヘッダーに関する情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法が提供される。
【解決手段】本開示による画像復号化方法は、サブピクチャに関する情報がビットストリームに存在するか否かを示す第１フラグを取得するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するか否かを示す第２フラグを取得するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含むことができる。前記第１フラグが、前記サブピクチャに関する情報が前記ビットストリームに存在することを示す場合、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有することができる。
【選択図】図１２
【解決手段】本開示による画像復号化方法は、サブピクチャに関する情報がビットストリームに存在するか否かを示す第１フラグを取得するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するか否かを示す第２フラグを取得するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含むことができる。前記第１フラグが、前記サブピクチャに関する情報が前記ビットストリームに存在することを示す場合、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有することができる。
【選択図】図１２
【特許請求の範囲】
【請求項1】
サブピクチャに関する情報がビットストリーム内に存在するかどうかを示す第１フラグを取得するステップと、
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを取得するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像復号化方法。
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを取得するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像復号化方法。
【請求項2】
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含む、請求項１に記載の画像復号化方法。
【請求項3】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記スライスヘッダーから前記ピクチャヘッダー情報を取得するステップをさらに含む、請求項１に記載の画像復号化方法。
【請求項4】
前記第２フラグは、ＣＬＶＳ（coded layer video sequence）内の全てのスライスに対して同一の値を有する、請求項１に記載の画像復号化方法。
【請求項5】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記ピクチャヘッダー情報を伝送するためのＮＡＬ（network abstraction layer）ユニットは、ＣＬＶＳ内に存在しない、請求項１に記載の画像復号化方法。
【請求項6】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示すことに基づいて、前記ピクチャヘッダー情報は、ＮＡＬユニットタイプがＰＨ＿ＮＵＴと同じＮＡＬユニットから取得される、請求項１に記載の画像復号化方法。
【請求項7】
前記第１フラグは、スライスの上位レベルでシグナリングされ、
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項１に記載の画像復号化方法。
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項１に記載の画像復号化方法。
【請求項8】
サブピクチャに関する情報がビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像符号化方法。
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像符号化方法。
【請求項9】
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含む、請求項８に記載の画像符号化方法。
【請求項10】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記スライスヘッダー内に前記ピクチャヘッダー情報を符号化するステップをさらに含む、請求項８に記載の画像符号化方法。
【請求項11】
前記第２フラグは、ＣＬＶＳ（coded layer video sequence）内の全てのスライスに対して同一の値を有する、請求項８に記載の画像符号化方法。
【請求項12】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示すことに基づいて、前記ピクチャヘッダー情報は、ＮＡＬ（network abstraction layer）ユニットタイプがＰＨ＿ＮＵＴと同じＮＡＬユニットを介してシグナリングされる、請求項８に記載の画像符号化方法。
【請求項13】
前記第１フラグは、スライスの上位レベルでシグナリングされ、
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項８に記載の画像符号化方法。
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項８に記載の画像符号化方法。
【請求項14】
画像のためのビットストリームを伝送する方法であって、
前記ビットストリームを伝送する方法は、
サブピクチャに関する情報が前記ビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を行うことによって前記ビットストリームを生成するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、ビットストリームを伝送する方法。
前記ビットストリームを伝送する方法は、
サブピクチャに関する情報が前記ビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を行うことによって前記ビットストリームを生成するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、ビットストリームを伝送する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化／復号化方法及び装置に関し、より詳細には、サブピクチャ及びピクチャヘッダーに関する情報をシグナリングする画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
【0005】
また、本開示は、サブピクチャ及びピクチャヘッダーに関する情報を効率よくシグナリングすることにより、符号化／復号化効率の向上を図る画像符号化／復号化方法及び装置を提供することを目的とする。
【0006】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0007】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0008】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
【0009】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0010】
本開示の一態様による画像復号化装置によって行われる画像復号化方法は、サブピクチャに関する情報がビットストリームに存在するか否かを示す第１フラグを取得するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するか否かを示す第２フラグを取得するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含むことができる。前記第１フラグが、前記サブピクチャに関する情報がビットストリームに存在することを示す場合、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有することができる。
【0011】
本開示による画像復号化方法において、前記第１フラグが、前記サブピクチャに関する情報がビットストリームに存在することを示す場合、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含むことができる。
【0012】
本開示による画像復号化方法において、前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示す場合、前記スライスヘッダーから前記ピクチャヘッダー情報を取得するステップをさらに含むことができる。
【0013】
本開示による画像復号化方法において、前記第２フラグは、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのスライスに対して同一の値を有することができる。
【0014】
本開示による画像復号化方法において、前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示す場合、前記ピクチャヘッダー情報を伝送するＮＡＬユニットがＣＬＶＳ内に存在しなくてもよい。
【0015】
本開示による画像復号化方法において、前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す場合、前記ピクチャヘッダー情報は、ＮＡＬユニットタイプがＰＨ＿ＮＵＴであるＮＡＬユニットから取得されることができる。
【0016】
本開示による画像復号化方法において、前記第１フラグはスライスの上位レベルでシグナリングされ、前記第２フラグは前記スライスヘッダーに含まれてシグナリングされることができる。
【0017】
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、サブピクチャに関する情報がビットストリームに存在するか否かを示す第１フラグを取得し、ピクチャヘッダー情報がスライスヘッダー内に存在するか否かを示す第２フラグを取得し、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化することができる。前記第１フラグが、前記サブピクチャに関する情報が前記ビットストリームに存在することを示す場合、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有することができる。
【0018】
本開示の別の態様による画像符号化方法は、サブピクチャに関する情報がビットストリームに存在するか否かを示す第１フラグを符号化するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するか否かを示す第２フラグを符号化するステップと、前記第１フラグ及び前記第２フラグに基づいて、前記ビットストリームを符号化するステップと、を含むことができる。前記第１フラグが、前記サブピクチャに関する情報が前記ビットストリームに存在することを示す場合、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有することができる。
【0019】
本開示による画像符号化方法において、前記第１フラグが、前記サブピクチャに関する情報が前記ビットストリームに存在することを示す場合、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含むことができる。
【0020】
本開示による画像符号化方法において、前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示す場合、前記スライスヘッダーに前記ピクチャヘッダー情報を符号化するステップをさらに含むことができる。
【0021】
本開示による画像符号化方法において、前記第２フラグは、ＣＬＶＳ（Ｃｏｄｅｄ Ｌａｙｅｒ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）内の全てのスライスに対して同一の値を有することができる。
【0022】
本開示による画像符号化方法において、前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す場合、前記ピクチャヘッダー情報は、ＮＡＬユニットタイプがＰＨ＿ＮＵＴであるＮＡＬユニットを介してシグナリングされることができる。
【0023】
本開示による画像符号化方法において、前記第１フラグはスライスの上位レベルでシグナリングされ、前記第２フラグは前記スライスヘッダーに含まれてシグナリングされることができる。
【0024】
また、本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
【0025】
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
【0026】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0027】
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
【0028】
また、本開示によれば、サブピクチャ及びピクチャヘッダーに関する情報を効率よくシグナリングすることにより、符号化／復号化効率の向上を図ることができる画像符号化／復号化方法及び装置が提供されることができる。
【0029】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0030】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
【0031】
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
【0032】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0033】
【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【図4】一実施例による画像の分割構造を示す図である。
【図5】マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。
【図6】本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造におけるブロック分割情報のシグナリングメカニズムを例示的に示す図である。
【図7】ＣＴＵが多重ＣＵに分割される一実施例を示す図である。
【図8】本開示の一実施例による画像符号化装置がスライス／タイルを用いて画像を符号化する方法を示すフローチャートである。
【図9】本開示の一実施例による画像復号化装置がスライス／タイルを用いて画像を復号化する方法を示すフローチャートである。
【図10】ピクチャヘッダーにおけるシグナリング及びシンタックス要素の本開示による一例を示す図である。
【図11】本開示の一実施例によるスライスヘッダーのシンタックス構造を示す図である。
【図14】本開示の他の実施例によるスライスヘッダーのシンタックス構造を示す図である。
【図17】本開示の別の実施例によるスライスヘッダーのシンタックス構造を示す図である。
【図20】本開示の実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。
【発明を実施するための形態】
【0034】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0035】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、同様の部分には同様の図面符号を付した。
【0036】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するものではなく、別の構成要素をさらに含むことができることを意味する。
【0037】
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内で、一実施例における第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例における第２構成要素を他の実施例で第１構成要素と呼んでもよい。
【0038】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0039】
本開示において、様々な実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0040】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0041】
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
【0042】
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
【0043】
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示す。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
【0044】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0045】
本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
【0046】
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
【0047】
本開示において、「又は」は、「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
【0048】
ビデオコーディングシステムの概要
【0049】
図１は本開示によるビデオコーディングシステムを示す。
【0050】
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
【0051】
一実施例よる符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
【0052】
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0053】
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
【0054】
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２へ伝達することができる。
【0055】
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
【0056】
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
【0057】
画像符号化装置の概要
【0058】
図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【0059】
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
【0060】
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
【0061】
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングユニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
【0062】
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関する様々な情報を生成してエントロピー符号化部１９０へ伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0063】
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。但し、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0064】
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいて、インター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0065】
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
【0066】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
【0067】
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックにも適用されることもできる。
【0068】
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0069】
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓの値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0070】
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどの様々な記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
【0071】
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
【0072】
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0073】
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
【0074】
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0075】
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
【0076】
画像復号化装置の概要
【0077】
図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【0078】
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
【0079】
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ２５０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
【0080】
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
【0081】
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
【0082】
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
【0083】
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0084】
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
【0085】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
【0086】
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
【0087】
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
【0088】
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
【0089】
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0090】
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0091】
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
【0092】
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
【0093】
画像分割の概要
【0094】
本開示によるビデオ／画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理（（逆）変換、（逆）量子化など）、シンタックス要素コーディング、フィルタリングなどの手順は、前記画像の分割構造に基づいて導出されたＣＴＵ、ＣＵ（及び／又はＴＵ、ＰＵ）に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部１１０で行われることができる。分割関連情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で復号化装置へ伝達できる。復号化装置のエントロピー復号化部２１０は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順（例えば、予測、レジデュアル処理、ブロック／ピクチャ復元、インループフィルタリングなど）を行うことができる。
【0095】
ピクチャは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）のシーケンスに分割されることができる。図４はピクチャがＣＴＵに分割される例を示す。ＣＴＵはコーディングツリーブロック（ＣＴＢ）に対応することができる。或いは、ＣＴＵは、ルマサンプルのコーディングツリーブロックと、対応するクロマサンプルの二つのコーディングツリーブロックと、を含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、ＣＴＵは、ルマサンプルのＮ×Ｎブロックとクロマサンプルの二つの対応ブロックを含むことができる。
【0096】
ＣＴＵ分割の概要
【0097】
前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造に応じて再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
【0098】
四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。
【0099】
図５はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。
【0100】
二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図５に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さをもって現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。
【0101】
三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図５に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）は、現在ＣＵを水平方向に１：２：１の割合で分割する。図５に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する１つのＣＵが生成されることができる。
【0102】
図６は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造でのブロック分割情報のシグナリングメカニズムを例示的に示す図である。
【0103】
ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、ＣＴＵは四分木構造に初めて分割される。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされる。もし当該ノードがさらに分割される場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。
【0104】
前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１の通りに導出されることができる。以下の説明において、マルチツリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称されることがある。
【0105】
【表1】
【0106】
図７は四分木の適用後にマルチタイプツリーが適用されることによりＣＴＵが多重ＣＵに分割される例を示す。図７において、太いブロックエッジ（ｂｏｌｄ ｂｌｏｃｋ ｅｄｇｅ）７１０は四分木分割を示し、残りのエッジ７２０はマルチタイプツリー分割を示す。ＣＵはコーディングブロックＣＢに対応することができる。一実施例において、ＣＵは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。
【0107】
クロマ成分（サンプル）ＣＢ又はＴＢサイズは、ピクチャ／画像のカラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に従ってルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。カラーフォーマットが４：４：４である場合、クロマ成分ＣＢ／ＴＢサイズは、ルマ成分ＣＢ／ＴＢサイズと同一に設定されることができる。カラーフォーマットが４：２：２である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定され、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さに設定されることができる。カラーフォーマットが４：２：０である場合、クロマ成分ＣＢ／ＴＢの幅はルマ成分ＣＢ／ＴＢの幅の半分に設定され、クロマ成分ＣＢ／ＴＢの高さはルマ成分ＣＢ／ＴＢの高さの半分に設定されることができる。
【0108】
一実施例において、ルマサンプル単位を基準にＣＴＵのサイズが１２８であるとき、ＣＵのサイズは、ＣＴＵと同じサイズである１２８×１２８から４×４までのサイズを有することができる。一実施例において、４：２：０カラーフォーマット（又はクロマフォーマット）である場合、クロマＣＢサイズは６４×６４から２×２までのサイズを有することができる。
【0109】
一方、一実施例において、ＣＵサイズとＴＵサイズとが同じであることができる。又は、ＣＵ領域内に複数のＴＵが存在することもできる。ＴＵサイズとは、一般的に、ルマ成分（サンプル）ＴＢ（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）サイズを示す。
【0110】
前記ＴＵサイズは、予め設定された値である最大許容ＴＢサイズ（ｍａｘＴｂＳｉｚｅ）に基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅよりも大きい場合、前記ＣＵから、前記ｍａｘＴｂＳｉｚｅを持つ複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。例えば、最大許容ルマＴＢサイズは６４×６４であり、最大許容クロマＴＢサイズは３２×３２であることができる。もし前記ツリー構造によって分割されたＣＢの幅又は高さが最大変換幅又は高さよりも大きい場合、当該ＣＢは、自動的に（又は黙示的に）水平及び垂直方向のＴＢサイズの制限を満足するまで分割されることができる。
【0111】
また、例えばイントラ予測が適用される場合、イントラ予測モード／タイプは、前記ＣＵ（又はＣＢ）単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、ＴＵ（又はＴＢ）単位で行われることができる。この場合、一つのＣＵ（又はＣＢ）領域内に一つ又は複数のＴＵ（又はＴＢ）が存在することができ、この場合、前記複数のＴＵ（又はＴＢ）は同じイントラ予測モード／タイプを共有することができる。
【0112】
一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがＳＰＳシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるＣＴＵｓｉｚｅ、四分木のリーフノードの最小許容サイズを示すパラメータであるＭｉｎＱＴＳｉｚｅ、二分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＢＴＳｉｚｅ、三分木のルートノードの最大許容サイズを示すパラメータであるＭａｘＴＴＳｉｚｅ、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ（ｍａｘｉｍｕｍ ａｌｌｏｗｅｄ ｈｉｅｒａｒｃｈｙ ｄｅｐｔｈ）を示すパラメータであるＭａｘＭｔｔＤｅｐｔｈ、二分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＢｔＳｉｚｅ、及び三分木の最小許容リーフノードサイズを示すパラメータであるＭｉｎＴｔＳｉｚｅのうちの少なくとも一つがシグナリングされる。
【0113】
４：２：０のクロマフォーマットを用いる一実施例において、ＣＴＵサイズは１２８×１２８ルマブロック、及びルマブロックに対応する二つの６４×６４クロマブロックに設定されることができる。この場合、ＭｉｎＱＴＳｉｚｅは１６×１６に設定され、ＭａｘＢｔＳｉｚｅは１２８×１２８に設定され、ＭａｘＴｔＳｚｉｅは６４×６４に設定され、ＭｉｎＢｔＳｉｚｅ及びＭｉｎＴｔＳｉｚｅは４×４に設定され、ＭａｘＭｔｔＤｅｐｔｈは４に設定されことができる。四分木分割は、ＣＴＵに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフＱＴノードと呼ばれることができる。四分木のリーフノードは１６×１６サイズ（例えば、ｔｈｅ ＭｉｎＱＴＳｉｚｅ）から１２８×１２８サイズ（例えば、ｔｈｅ ＣＴＵ ｓｉｚｅ）を有することができる。もしリーフＱＴノードが１２８×１２８である場合、さらに二分木／三分木に分割されないことができる。これは、この場合に分割されてもＭａｘＢｔｓｉｚｅ及びＭａｘＴｔｓｉｚｅ（例えば、６４×６４）を超過するためである。これ以外の場合、リーフＱＴノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフＱＴノードは、マルチタイプツリーに対するルートノード（ｒｏｏｔ ｎｏｄｅ）であり、リーフＱＴノードは、マルチタイプツリーデプス（ｍｔｔＤｅｐｔｈ）０値を有することができる。もし、マルチタイプツリーデプスがＭａｘＭｔｔｄｅｐｔｈ（例えば、４）に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがＭｉｎＢｔＳｉｚｅと同じであり、２ｘＭｉｎＴｔＳｉｚｅと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、分割情報を所定の値に誘導することができる。
【0114】
一方、一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表す。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表す。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成され、Ｐ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成され得ることを意味することができる。
【0115】
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）が、シグナリングされることにより、分割構造が決定されることができる。
【0116】
別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。
【0117】
このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長（ｒｅｄｕｎｄａｎｔ）分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。
【0118】
サブピクチャに基づく画像の符号化／復号化
【0119】
１つの符号化対象ピクチャは、複数のＣＴＵ、スライス、タイル、又はブリック単位に分割されることができ、さらに、ピクチャは、複数のサブピクチャ単位にも分割されることもできる。
【0120】
ピクチャ内で、サブピクチャは、それに先行するサブピクチャの符号化又は復号化の如何に関係なく符号化又は復号化されることができる。例えば、複数のサブピクチャに対して、互いに異なる量子化が適用されるか、或いは互いに異なる解像度が適用されることができる。
【0121】
さらに、それぞれのサブピクチャは、個別ピクチャのように処理されることができる。例えば、符号化対象ピクチャは、３６０度の画像／ビデオ又は全方向（ｏｍｎｉｄｉｒｅｃｔｉｎａｌ）画像／ビデオにおけるプロジェクテッドピクチャ（ａ ｐｒｏｊｅｃｔｅｄ ｐｉｃｔｕｒｅ）又はパックドピクチャ（ａ ｐａｃｋｅｄ ｐｉｃｔｕｒｅ）であり得る。
【0122】
このような実施例において、ユーザ端末（例えば、ヘッドマウントディスプレイ（ｈｅａｄ ｍｏｕｎｔ ｄｉｓｐｌａｙ））のビューポート（ｖｉｅｗｐｏｒｔ）に基づいてピクチャの一部分がレンダリング又は表示されることができる。したがって、低遅延を実現するために、１つのピクチャを構成するサブピクチャのうち、ビューポートをカバーする少なくとも１つのサブピクチャが残りのサブピクチャよりも優先的に又は独立して符号化又は復号化されることができる。
【0123】
サブピクチャの符号化結果は、サブビットストリーム（ａ ｓｕｂ－ｂｉｔｓｔｒｅａｍ）又はサブストリーム（ａ ｓｕｂｓｔｒｅａｍ）、又は単にビットストリームと呼ばれることがある。復号化装置は、サブビットストリーム又はサブストリーム又はビットストリームからサブピクチャを復号化することができる。このようなケースにおいて、ＰＰＳ、ＳＰＳ、ＶＰＳ及び／又はＤＰＳ（復号化パラメータセット）などのＨＬＳ（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｔａｘ）がサブピクチャを符号化／復号化するために使用できる。
【0124】
本開示における上位シンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、及びＳＨシンタックスのうちの少なくとも一つを含むことができる。例えば、ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライス又はピクチャに共通に適用可能な情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通に適用可能な情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤーに共通に適用可能な情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通に適用可能な情報／パラメータを含むことができる。例えば、ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のｃｏｎｃａｔｅｎａｔｉｏｎに関連する情報／パラメータを含むことができる。
【0125】
サブピクチャは、符号化されたピクチャの長方形領域を構成することができる。サブピクチャのサイズは、ピクチャ内で互いに異なるように設定されることができる。１つのシーケンスに属する全てのピクチャに対して、特定の個別サブピクチャのサイズ及び位置は同一に設定されることができる。個別サブピクチャシーケンスは、独立して復号化されることができる。タイルとスライス（及びＣＴＢ）は、サブピクチャ境界を超えないように（ｎｏｔ ｓｐａｎ ａｃｒｏｓｓ）制限されることができる。このために、符号化装置は、それぞれのサブピクチャが独立して復号化されるように符号化を行うことができる。このために、ビットストリームにおけるセマンティック制限が要求されることができる。また、１つのシーケンスにおけるピクチャごとに、サブピクチャ内のタイル、スライス及びブリックの配列は、互いに異なるように構成できる。
【0126】
サブピクチャデザインは、ピクチャレベルよりは小さいが、スライス又はタイルグループレベルよりも大きい範囲の抽象化（ａｂｓｔｒａｃｔｉｏｎ）又はカプセル化（ｅｎｃａｐｓｕｌａｔｉｏｎ）を目的とする。これにより、ＭＣＴＳ（ｍｏｔｉｏｎ ｃｏｎｓｔｒａｉｎｔ ｔｉｌｅ ｓｅｔ）サブセットのＶＣＬ ＮＡＬユニットを１つのＶＶＣビットストリームから抽出し、これをＶＣＬレベルでの修正のような困難性なしに他のＶＶＣビットストリームに再配置するなどの処理を行うことができる。ここで、ＭＣＴＳは、タイル間の空間的、時間的独立性を持つことを可能にする符号化技術である。ＭＣＴＳが適用されると、現在タイルの属するＭＣＴＳに含まれないタイルの情報を参照することができなくなる。画像をＭＣＴＳに分割して符号化すると、ＭＣＴＳの独立的伝送、復号化が可能となる。
【0127】
このようなサブピクチャデザインは、混合解像度を有するビューポート従属的３６０°ストリーミング方式（ｍｉｘｅｄ ｒｅｓｏｌｕｔｉｏｎ ｖｉｅｗｐｏｒｔ ｄｅｐｅｎｄｅｎｔ ３６０° ｓｔｒｅａｍｉｎｇ ｓｃｈｅｍｅｓ）において、眺める方向（ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ）を変換する上で利点を持つ。
【0128】
【0129】
図８は本開示の一実施例による画像符号化装置がスライス／タイルを用いて画像を符号化する方法を示すフローチャートである。
【0130】
画像符号化装置は、現在ピクチャを分割することにより、現在ピクチャ内のスライス／タイルを誘導することができる（Ｓ８１０）。
【0131】
画像符号化装置は、ステップＳ８１０で誘導されたスライス／タイルに基づいて現在ピクチャを符号化することができる（Ｓ８２０）。
【0132】
図９は本開示の一実施例による画像復号化装置がスライス／タイルを用いて画像を復号化する方法を示すフローチャートである。
【0133】
画像復号化装置は、ビットストリームからビデオ／画像に関する情報を取得することができる（Ｓ９１０）。
【0134】
そして、画像復号化装置は、ステップＳ９１０で取得したビデオ／画像に関する情報に基づいて現在ピクチャ内のスライス／タイルを誘導することができる（Ｓ９２０）。ここで、ビデオ／画像に関する情報は、スライス／タイルに関する情報を含むことができる。
【0135】
次に、画像復号化装置は、ステップＳ９２０で誘導されたスライス／タイルに基づいて現在ピクチャを復号化することができる（Ｓ９３０）。
【0136】
図８及び図９において、スライス／タイルに対する情報は、本開示で言及された様々な情報及び／又はシンタックス要素を含むことができる。ビデオ／画像情報は上位レベルシンタックスを含むことができ、上位レベルシンタックスはスライスに対する情報及び／又はタイルに対する情報を含むことができる。上位レベルシンタックスは、ピクチャヘッダーを含むことができ、ピクチャヘッダーの情報は、本開示で説明されたスライスヘッダーに含まれることができる。スライスに対する情報は、現在ピクチャで１つ以上のスライスを特定する情報を含むことができ、タイルに対する情報は、現在ピクチャで１つ以上のタイルを特定する情報を含むことができる。ピクチャには、１つ以上のタイルを含むスライスが存在することができる。
【0137】
上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）シグナリング
【0138】
上述したように、上位レベルシンタックスは、ビデオ／画像コーディングのためにコーディング／シグナリングされることができる。以下、本開示によるピクチャヘッダー及びスライスヘッダーにおけるシグナリング及びシンタックス要素について説明する。
【0139】
ピクチャヘッダー及びスライスヘッダー
【0140】
コーディングされたピクチャは、１つ又は複数のスライスで構成できる。コーディングされたピクチャに対するパラメータは、ピクチャヘッダー（ＰＨ）内でシグナリングされ、スライスに対するパラメータは、スライスヘッダー（ＳＨ）内でシグナリングされることができる。ピクチャヘッダーは、自体のＮＡＬユニット形態で伝達されることができる。スライスヘッダーは、スライス（すなわち、スライスデータ）のペイロードを含むＮＡＬユニットの開始部分に存在することができる。以下、ピクチャヘッダー及びスライスヘッダーのシンタックス要素及び各シンタックス要素の意味について、図１０及び図１１を参照して説明する。
【0141】
図１０はピクチャヘッダーにおけるシグナリング及びシンタックス要素の本開示による一例を示す図である。
【0142】
ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）は、ピクチャヘッダーに関連する符号化されているピクチャ内の全てのスライスに対して共通である情報を含むことができる。例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）は、参照ピクチャフラグ（ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇ）、ＧＤＲピクチャ識別情報（ｇｄｒ＿ｐｉｃ＿ｆｌａｇ）、ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇ、ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ、ｐｈ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄなどの情報を含むことができる。ここで、ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔは、ｇｄｒ＿ｐｉｃ＿ｆｌａｇが１である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）でシグナリングされる。
【0143】
ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇの第１値（例えば、１）は、ピクチャヘッダーに関連するピクチャが参照ピクチャとして使用されないことを示す。ｎｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｐｉｃｔｕｒｅ＿ｆｌａｇの第２値（例えば、０）は、ピクチャヘッダーに関連するピクチャが参照ピクチャとして使用されても使用されなくてもよいことを示す。
【0144】
ｇｄｒ＿ｐｉｃ＿ｆｌａｇの第１値（例えば、１）は、ピクチャヘッダーに関連するピクチャがＧＤＲピクチャであることを示す。ｇｄｒ＿ｐｉｃ＿ｆｌａｇの第２値（例えば、０）は、ピクチャヘッダーに関連するピクチャがＧＤＲピクチャではないことを示す。
【0145】
ｎｏ＿ｏｕｔｐｕｔ＿ｏｆ＿ｐｒｉｏｒ＿ｐｉｃｓ＿ｆｌａｇは、ビットストリームで第１ピクチャではないＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ、コーディングされたレイヤービデオシーケンス）ピクチャを復号化した後、ＤＰＢで以前に復号化されたピクチャの出力に影響を及ぼす。
【0146】
ｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔは、出力順序上、復号化されたピクチャの復旧地点（ｒｅｃｏｖｅｒｙ ｐｏｉｎｔ）を示す。
【0147】
ｐｈ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、使用中のピクチャパラメータセットに対するｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示す。ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックスで参照することができるようにＰＰＳを識別するための値である。
【0148】
図１０のｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）シンタックス構造が含むシンタックス要素は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）シンタックス構造に含まれてシグナリングされることができる。この場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）シンタックス構造は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）シンタックス構造に含まれてシグナリングされることができる。
【0149】
図１１は本開示の一実施例によるスライスヘッダーのシンタックス構造を示す図である。
【0150】
図１１に示すように、スライスヘッダーを介して、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ、ｓｌｉｃｅ＿ａｄｄｒｅｓｓ、ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１などがシグナリングされることができる。
【0151】
図１１に示されている例において、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、ピクチャヘッダーシンタックス構造がスライスヘッダーシンタックス構造内に存在するか否かを示すことができる。ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの第１値（例えば、１又はＴｒｕｅ）は、ピクチャヘッダーがスライスヘッダー内に存在することを示し、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの第２値（例えば、０又はＦａｌｓｅ）は、ピクチャヘッダーがスライスヘッダー内に存在しないことを示すことができる。
【0152】
ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに基づいて取得されることができる。例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）は、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値である場合にシグナリングされることができる。ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）は、スライスヘッダーに含まれず、別途のＮＡＬユニットに含まれてシグナリングされることができる。
【0153】
ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄは、現在スライスが含まれているサブピクチャを識別するためのサブピクチャ識別子に関する情報であり得る。ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄはｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに基づいて取得されることができる。例えば、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄは、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１である場合にシグナリングされることができる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、現在ピクチャ内にサブピクチャが存在するか否か、或いはビットストリーム内のサブピクチャに対する情報が存在するか否かを示すことができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第１値（例えば、１又はＴｒｕｅ）は、サブピクチャに対する情報がビットストリームに存在するか、現在ピクチャ内にサブピクチャが１つ又はそれ以上存在することができることを示すことができる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの第２値（例えば、０又はＦａｌｓｅ）は、サブピクチャに対する情報がビットストリームに存在しないか、或いは現在ピクチャ内にサブピクチャが存在しないことを示すことができる。
【0154】
ｓｌｉｃｅ＿ａｄｄｒｅｓｓは、現在スライスの現在ピクチャ内のアドレスを表すことができる。ｓｌｉｃｅ＿ａｄｄｒｅｓｓは、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇ及び／又はＮｕｍＴｉｌｅｓＩｎＰｉｃに基づいて取得できる。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合、ｓｌｉｃｅ＿ａｄｄｒｅｓｓはスライスヘッダーでシグナリングされることができる。このとき、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇは、現在ピクチャに含まれているスライスが四角形のスライスであるか否かを示すインジケータであり得る。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇは、ピクチャレベル（ＰＰＳ又はピクチャヘッダー）でシグナリングされることができる。また、ＮｕｍＴｉｌｅｓＩｎＰｉｃは、現在ピクチャに含まれているタイルの個数を表すことができる。
【0155】
ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１は、現在スライスに含まれているタイルの個数を表すことができる。ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１は、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇ及びＮｕｍＴｉｌｅｓＩｎＰｉｃに基づいて取得できる。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合、ｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１はスライスヘッダーでシグナリングできる。
【0156】
図１１に示されている実施例において、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに関連するビットストリーム適合性要求事項として、次の内容が含まれることができる。
【0157】
ビットストリーム適合性を満たすために、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの値がＣＬＶＳ内の全てのスライスで同一であることが要求される。
【0158】
また、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値（例えば、１）である場合、ビットストリーム適合性を満たすために、ＰＨ＿ＮＵＴと同じＮＡＬユニットタイプのＮＡＬユニットがＣＬＶＳに存在しないことが要求される。
【0159】
また、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値（例えば、０）である場合、ビットストリーム適合性を満たすために、ＰＵの１番目のＶＣＬ ＮＡＬユニットに先立ち、ＰＨ＿ＮＵＴと同じＮＡＬユニットタイプのＮＡＬユニットがＰＵに存在することが要求される。
【0160】
【0161】
まず、画像復号化装置は、スライスヘッダーに含まれている第１フラグ（ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ）を取得することができる（Ｓ１２１０）。
【0162】
第１フラグは、ピクチャヘッダーがスライスヘッダー内に存在するか否かを示すことができる。また、第１フラグは、現在ピクチャが１つのスライスのみを含むか否かを示すこともできる。
【0163】
第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１２２０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからピクチャヘッダーを取得することができる（Ｓ１２３０）。前記第１フラグが第２値（例えば、０又はＦａｌｓｅ）である場合（ステップＳ１２２０－Ｎｏ）、ピクチャヘッダーは、スライスヘッダーではなく、ピクチャヘッダーＮＡＬユニットから取得できる（図示せず）。
【0164】
以後、ステップＳ１２４０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否かが判断できる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、現在ピクチャがサブピクチャを含むか否かを示すことができる。また、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、サブピクチャに関する情報がビットストリームに含まれるか否かを示すこともできる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、スライスの上位レベルでシグナリングできる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シーケンスパラメータセットに含まれてシグナリングできる。
【0165】
前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１２４０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを取得することができる（Ｓ１２５０）。前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）である場合（ステップＳ１２４０－Ｎｏ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄのパーシングを省略（スキップ）することができる。
【0166】
以後、ステップＳ１２６０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び／又はＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否かが判断できる。ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇは、現在ピクチャに含まれているスライスが四角形のスライスであるか否かを示すインジケータであり得る。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇは、ピクチャレベル（ＰＰＳ又はピクチャヘッダー）でシグナリングされることができる。また、ＮｕｍＴｉｌｅｓＩｎＰｉｃは、現在ピクチャに含まれているタイルの個数を表すことができる。
【0167】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合（ステップＳ１２６０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ａｄｄｒｅｓｓを取得することができる（Ｓ１２７０）。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくない場合（ステップＳ１２６０－Ｎｏ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ａｄｄｒｅｓｓのパーシングを省略（スキップ）することができる。
【0168】
その後、ステップＳ１２８０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び／又はＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否かが判断できる。
【0169】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくない場合（ステップＳ１２８０－Ｎｏ）、画像復号化装置は、スライスヘッダーからｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１のパーシングを省略（スキップ）することができる。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合（ステップＳ１２８０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１を取得することができる（Ｓ１２９０）。
【0170】
以後、画像復号化装置は、スライスヘッダーから後続のシンタックス要素（図示せず）をパーシングすることにより、スライスヘッダーの復号化を行うことができる。
【0171】
【0172】
まず、画像符号化装置は、第１フラグ（ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ）の値を決定し、スライスヘッダーに符号化することができる（Ｓ１３１０）。
【0173】
前記第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１３２０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにピクチャヘッダーを符号化することができる（Ｓ１３３０）。前記第１フラグが第２値（例えば、０又はＦａｌｓｅ）である場合（ステップＳ１３２０－Ｎｏ）、ピクチャヘッダーは、スライスヘッダーに符号化されず、ピクチャヘッダーＮＡＬユニットに含まれてシグナリングされることができる（図示せず）。
【0174】
以後、ステップＳ１３４０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否かが判断できる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、スライスの上位レベルで決定されてシグナリングされることができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シーケンスパラメータセットに含まれてシグナリングされることができる。
【0175】
ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１３４０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを符号化することができる（Ｓ１３５０）。前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）である場合（ステップＳ１３４０－Ｎｏ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの符号化を省略（スキップ）することができる。
【0176】
以後、ステップＳ１３６０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び／又はＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否かが判断できる。
【0177】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合（ステップＳ１３６０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ａｄｄｒｅｓｓを符号化することができる（Ｓ１３７０）。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくない場合（ステップＳ１３６０－Ｎｏ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ａｄｄｒｅｓｓの符号化を省略（スキップ）することができる。
【0178】
以後、ステップＳ１３８０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び／又はＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否かが判断できる。
【0179】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくない場合（ステップＳ１３８０－Ｎｏ）、画像符号化装置は、スライスヘッダーにｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１の符号化を省略（スキップ）することができる。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きい場合（ステップＳ１３８０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１を符号化することができる（Ｓ１３９０）。
【0180】
以後、画像符号化装置は、スライスヘッダーに後続のシンタックス要素（図示せず）を符号化することにより、スライスヘッダーの符号化を行うことができる。
【0181】
図１２及び図１３を参照して説明した例において、一部のステップは変更又は省略できる。例えば、ｓｌｉｃｅ＿ａｄｄｒｅｓｓ及び／又はｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１の符号化／復号化に関連する条件が変更できる。
【0182】
【0183】
画像符号化装置は、サブピクチャに基づいて現在ピクチャを符号化することができる。或いは、画像符号化装置は、現在ピクチャを構成する少なくとも一つのサブピクチャを符号化し、符号化された少なくとも一つのサブピクチャに対する符号化情報を含むビットストリームを生成することができる。
【0184】
画像復号化装置は、少なくとも一つのサブピクチャに関する符号化情報を含むビットストリームに基づいて、現在ピクチャに含まれている少なくとも一つのサブピクチャを復号化することができる。
【0185】
上述したように、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、ピクチャヘッダーがスライスヘッダー内に存在するか否かを示すことができる。また、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、現在ピクチャが１つのスライスのみを含むか、或いはさらに多くのスライスを含むかを指し示すことに使用されることもある。現在ピクチャが１つのスライスのみを含む場合、当該スライスは現在ピクチャ内の唯一のスライスなので、スライスヘッダー内の一部のシンタックス要素は固定された値を有する。この場合、固定された値を有する一部のシンタックス要素はシグナリングしないことが効率的であり得る。
【0186】
以下では、上述した効率的なシグナリングを行うための本開示の様々な構成について説明する。以下の構成は、本開示による実施例に個別に適用されてもよく、組み合わせられて適用されてもよい。
【0187】
構成１
【0188】
現在ピクチャが１つのスライスのみを含む場合、スライスヘッダー内の一部のシンタックス要素に対するシグナリングは省略できる。シグナリングが省略された前記シンタックス要素の値は、画像符号化装置及び／又は画像復号化装置によって導出又は推論できる。
【0189】
現在ピクチャが１つのスライスのみを含むか否かは、所定のインジケータによって指し示されることができる。したがって、例えば、前記インジケータによって、現在ピクチャが１つのスライスのみを含むことが指し示される場合、上述した一部のシンタックス要素は、スライスヘッダーに含まれず、その値は推論又は導出できる。このとき、前記インジケータは、前記一部のシンタックス要素がスライスヘッダーに含まれるか否かを示す条件として利用できる。
【0190】
構成２
【0191】
前記構成１で説明されたインジケータは、例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇであり得る。
【0192】
構成３
【0193】
ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの値に応じてシグナリングが省略できるスライスヘッダー内のシンタックス要素は、下記の（ａ）又は（ｂ）のうちの少なくとも一つを含むことができる。
【0194】
（ａ）スライスが含まれているサブピクチャを明示するシンタックス要素
【0195】
シンタックス要素（ａ）のシグナリングが省略可能な理由は、ピクチャあたり１つのスライスのみが含まれる場合、如何なるサブピクチャも特定されないことが明白だからである。例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが、現在ピクチャが１つのスライスのみを含むことを指し示す場合、現在ピクチャはサブピクチャに基づいて符号化／復号化されないので、サブピクチャに関する情報のシグナリングが省略できる。
【0196】
（ｂ）スライスのアドレスを明示するシンタックス要素
【0197】
シンタックス要素（ｂ）のシグナリングが省略可能である理由は、前記スライスがピクチャ内の唯一の一番目のスライスであることが明白だからである。例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが、現在ピクチャが１つのスライスのみを含むことを指し示す場合、現在スライスは現在ピクチャ内の唯一のスライスなので、現在スライスに対するアドレスのシグナリングが省略できる。
【0198】
構成４
【0199】
シーケンス内の各ピクチャが只１つのスライスを有する場合、サブピクチャも使用されない。例えば、サブピクチャに関するシンタックス要素ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、第２値（例えば、０又はＦａｌｓｅ）に制限できる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、現在ピクチャ内のサブピクチャが存在するか否か、又はビットストリーム内のサブピクチャに対する情報が存在するか否かを示すことができる。ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、例えば、シーケンスパラメータセットに含まれてシグナリングされることができる。
【0200】
同様に、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるとき、シーケンス内の各ピクチャが１つのスライスのみを含むか否かを示すフラグ、又はスライスヘッダーにピクチャヘッダーが存在するか否かを示すフラグ（例えば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ）は、現在ピクチャが１つのスライスのみを含むことを指し示すことができず、かつ、ピクチャヘッダーがスライスヘッダー内に存在することを指し示すことができない。したがって、例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるとき、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、第２値（例えば、０又はＦａｌｓｅ）を有するように制限されることができる。
【0201】
構成５
【0202】
ピクチャヘッダーがピクチャヘッダーＮＡＬユニットに存在せず、スライスヘッダーに存在する場合、特定の階層（ｌａｙｅｒ Ａ）のＣＬＶＳ内で、ｌａｙｅｒ Ａを参照する全ての階層（すなわち、ｌａｙｅｒ Ａの従属階層）及びｌａｙｅｒ Ａが参照する全ての階層のピクチャヘッダーは、ピクチャヘッダーＮＡＬユニットに存在せず、スライスヘッダーに存在するように制限できる。前記制限は、多階層（ｍｕｌｔｉ－ｌａｙｅｒ）ビットストリームの場合、アクセスユニット内のピクチャ境界検出を単純化するために付加できる。
【0203】
図１４は本開示の他の実施例によるスライスヘッダーのシンタックス構造を示す図である。
【0204】
【0205】
図１４の実施例によれば、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄをシグナリングする条件が変更できる。具体的には、スライスヘッダーは、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに基づいてｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを含むことができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であり、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）である場合、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄはスライスヘッダーでシグナリングできる。これは、上述したように、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値を有すれば、現在ピクチャは１つのスライスのみを含み、サブピクチャに基づく符号化／復号化が行われないので、サブピクチャに関する情報のシグナリングが不要だからである。
【0206】
また、図１４の実施例によれば、ｓｌｉｃｅ＿ａｄｄｒｅｓｓをシグナリングする条件が変更できる。具体的には、スライスヘッダーは、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇ、ＮｕｍＴｉｌｅｓＩｎＰｉｃ、及びｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに基づいてｓｌｉｃｅ＿ａｄｄｒｅｓｓを含むことができる。例えば、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値であるか（例えば、１又はＴｒｕｅ）、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きく、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）である場合、ｓｌｉｃｅ＿ａｄｄｒｅｓｓは、スライスヘッダーでシグナリングできる。これは、上述したように、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値を有すれば、現在ピクチャは１つのスライスのみを含むので、スライスのアドレスに関する情報のシグナリングが不要だからである。
【0207】
図１４の実施例において、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに対するビットストリーム適合性要求事項は、次のとおりに改善できる。
【0208】
まず、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの値がＣＬＶＳ内の全てのスライスで同一であることが要求される。
【0209】
また、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値（例えば、１）である場合、ＮＡＬユニットタイプがＰＨ＿ＮＵＴであるＮＡＬユニットがＣＬＶＳ内に存在しないことが要求される。これは、ピクチャヘッダーがスライスヘッダーに含まれてシグナリングされるので、ピクチャヘッダーを伝送するための別途のＮＡＬユニットが不要だからである。
【0210】
また、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値（例えば、０）である場合、ＰＵの一番目のＶＣＬ ＮＡＬユニットに先行して、ＮＡＬユニットタイプがＰＨ＿ＮＵＴであるＮＡＬユニットがＰＵに存在することが要求される。つまり、現在ＰＵがＰＨ ＮＡＬユニットを有することが要求される。これは、ピクチャヘッダーを伝送するための別途のＮＡＬユニットが必要だからである。
【0211】
また、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１）である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは第１値（例えば、１）ではないことが要求される。この時、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは第２値（例えば、０）を有するように制限できる。
【0212】
図１４の例において、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄは、スライスを含むサブピクチャの識別子を示す。ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄが存在すると、変数ＳｕｂＰｉｃＩｄｘは、ＳｕｂｐｉｃＩｄＬｉｓｔ［ＳｕｂＰｉｃＩｄｘ］がｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄと等しくなるように誘導される。ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄが存在しなければ、変数ＳｕｂＰｉｃＩｄｘは０に誘導されることができる。
【0213】
図１４の例において、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの長さ（ビット長）は、次のとおりに誘導できる。
【0214】
ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であれば、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの長さは、ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１に誘導されることができる。ここで、ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、サブピクチャの識別子がシーケンスパラメータセットでシグナリングされるか否かを示すことができる。ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１は、サブピクチャ識別子の長さ情報であって、シーケンスパラメータセットに含まれてシグナリングされることができる。
【0215】
それとも（ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１ではない場合）、ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であれば、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの長さは、ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１に誘導されることができる。ここで、ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、サブピクチャの識別子がピクチャヘッダーでシグナリングされるか否かを示すことができる。ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１は、サブピクチャ識別子の長さ情報であって、ピクチャヘッダーに含まれてシグナリングされることができる。
【0216】
それとも（ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの両方とも１ではない場合）、ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１であれば、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの長さは、ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１＋１に誘導されることができる。ここで、ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、サブピクチャの識別子がピクチャパラメータセットでシグナリングされるか否かを示すことができる。ｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｌｅｎ＿ｍｉｎｕｓ１は、サブピクチャ識別子の長さ情報であって、ピクチャパラメータセットに含まれてシグナリングされることができる。
【0217】
それとも（（ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ、ｐｈ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ及びｐｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｓｉｇｎａｌｌｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが全て１ではない場合）、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの長さは、Ｃｅｉｌ（Ｌｏｇ２（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１＋１））に誘導されることができる。ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１は、ＣＬＶＳ内の各ピクチャのサブピクチャの数を示すものであり、シーケンスパラメータセットに含まれてシグナリングされることができる。
【0218】
ｓｌｉｃｅ＿ａｄｄｒｅｓｓは、現在スライスのスライスアドレスを示す。もしｓｌｉｃｅ＿ａｄｄｒｅｓｓが存在しない場合、ｓｌｉｃｅ＿ａｄｄｒｅｓｓの値は０と推論できる。
【0219】
ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｓｔｒｕｃｔｕｒｅ（）は、図１０を参照して説明したｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｒｂｓｐ（）に含まれている少なくとも一つのシンタックス要素を含むことができる。
【0220】
【0221】
【0222】
【0223】
図１５の実施例によれば、ステップＳ１５４０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び第１フラグが第２値（例えば、０又はＦａｌｓｅ）であるか否かが判断できる。
【0224】
前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値であり、前記第１フラグが第２値である場合（ステップＳ１５４０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを取得することができる（Ｓ１５５０）。前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であるか、或いは前記第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１５４０－Ｎｏ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄのパーシングを省略（スキップ）することができる。
【0225】
以後、ステップＳ１５６０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否か、及び第１フラグが第２値（例えば、０又はＦａｌｓｅ）であるか否かが判断できる。
【0226】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きく、前記第１フラグが第２値である場合（ステップＳ１５６０－Ｙｅｓ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ａｄｄｒｅｓｓを取得することができる（Ｓ１５７０）。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくないか、或いは前記第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１５６０－Ｎｏ）、画像復号化装置は、スライスヘッダーからｓｌｉｃｅ＿ａｄｄｒｅｓｓのパーシングを省略（スキップ）することができる。
【0227】
【0228】
図１２を参照して説明したように、画像復号化装置は、スライスヘッダーから後続のシンタックス要素（図示せず）をパーシングすることにより、スライスヘッダーの復号化を行うことができる。
【0229】
【0230】
【0231】
【0232】
図１６の実施例によれば、ステップＳ１６４０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか否か、及び第１フラグが第２値（例えば、０又はＦａｌｓｅ）であるか否かが判断できる。
【0233】
前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値であり、前記第１フラグが第２値である場合（ステップＳ１６４０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを符号化することができる（Ｓ１６５０）。前記ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であるか、或いは前記第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１６４０－Ｎｏ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄの符号化を省略（スキップ）することができる。
【0234】
以後、ステップＳ１６６０で、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きいか否か及び第１フラグが第２値（例えば、０又はＦａｌｓｅ）であるか否かが判断できる。
【0235】
前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第１値であるか、或いはＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きく、第１フラグが第２値である場合（ステップＳ１６６０－Ｙｅｓ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ａｄｄｒｅｓｓを符号化することができる（Ｓ１６７０）。前記ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）であり、ＮｕｍＴｉｌｅｓＩｎＰｉｃが１より大きくないか、或いは前記第１フラグが第１値（例えば、１又はＴｒｕｅ）である場合（ステップＳ１６６０－Ｎｏ）、画像符号化装置は、スライスヘッダーにｓｌｉｃｅ＿ａｄｄｒｅｓｓの符号化を省略（スキップ）することができる。
【0236】
【0237】
図１３を参照して説明したように、画像符号化装置は、スライスヘッダーに後続のシンタックス要素（図示せず）を符号化することにより、スライスヘッダーの符号化を行うことができる。
【0238】
図１５及び図１６を参照して説明した例において、一部のステップは変更又は省略できる。例えば、ｓｌｉｃｅ＿ａｄｄｒｅｓｓ及び／又はｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１の符号化／復号化に関連する条件が変更できる。
【0239】
図１４乃至図１６を参照して説明した実施例の変形例として、上述したｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇに関する改善された制限事項は、図１１に示されている実施例に適用することができる。この場合、前述した従来の方法の問題点の少なくとも一部が解消できる。具体的には、例えば、スライスヘッダーの上位レベルでシグナリングされるサブピクチャに関する情報（ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に基づいてｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇの値が制限できる。より具体的には、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは第２値を有するように制限できる。したがって、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が第１値である場合（サブピクチャに関する情報がビットストリームに存在するか、或いは現在ピクチャがサブピクチャを含む場合）、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、ピクチャヘッダーがスライスヘッダー内に存在しないことを指し示すか、或いは現在ピクチャが１つのスライスのみを含まないことを指し示すことができる。 図１４に示されている実施例において、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄは、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値であり、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第２値であるとき、スライスヘッダーから取得できる。しかし、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値であれば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは第２値を有するように制限されるので、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄのパーシング条件として、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを確認するだけで十分である。つまり、本変形例によれば、ステップＳ１５４０及びステップＳ１６４０で、第１フラグが第２値であるか否かに対する判断は省略できる。本変形例によれば、画像符号化装置は、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値である場合、第２値を有するｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇを符号化することができる。また、画像復号化装置は、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ又はｓｕｂｐｉｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値である場合、第２値を有するｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇを取得することができる。
【0240】
図１７は本開示の別の実施例によるスライスヘッダーのシンタックス構造を示す図である。
【0241】
【0242】
図１７の実施例によれば、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇをシグナリングする条件が変更できる。具体的には、スライスヘッダーは、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇに基づいてｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇを含むことができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値（例えば、１又はＴｒｕｅ）である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、スライスヘッダーでシグナリングされないことができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第２値（例えば、０又はＦａｌｓｅ）である場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは、スライスヘッダーでシグナリングできる。これは、上述したように、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値を有すれば、現在ピクチャは１つのスライスのみを含むことができないので、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇは固定された値（第２値）を有する。したがって、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇのシグナリングが不要だからである。この場合、ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇが第１値であれば、シグナリングされるピクチャヘッダーもスライスヘッダーを介してシグナリングされないことができる。
【0243】
また、図１７の実施例によれば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが第１値である場合、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄがスライスヘッダーでシグナリングされることができる。
【0244】
以下、ｓｌｉｃｅ＿ａｄｄｒｅｓｓ及びｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１についての説明は、図１４を参照して説明したのと同様である。
【0245】
【0246】
【0247】
【0248】
図１８の実施例によれば、画像復号化装置は、ステップＳ１８１０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値（例えば、０又はＦａｌｓｅ）であるか否かを判断することができる。
【0249】
ステップＳ１８１０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第１値（例えば、１又はＴｒｕｅ）である場合、サブピクチャに基づく符号化／復号化が行われるので、現在ピクチャは１つのスライスのみを含まない。したがって、この場合、画像復号化装置は、スライスヘッダーからｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ及びピクチャヘッダーを取得せず、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを取得することができる（Ｓ１８５０）。
【0250】
ステップＳ１８１０でｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値である場合、画像復号化装置は、スライスヘッダーから第１フラグ（ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ）を取得する（Ｓ１８２０）。画像復号化装置は、第１フラグが第１値であるか否かを判断し（Ｓ１８３０）、第１フラグが第１値である場合、スライスヘッダーからピクチャヘッダーを取得することができる（Ｓ１８４０）。第１フラグが第２値である場合、画像復号化装置は、スライスヘッダーからピクチャヘッダーを取得せず、この場合、画像復号化装置は、別途のＮＡＬユニットを介してピクチャヘッダーを取得することができる。ステップＳ１８１０でｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値である場合、サブピクチャに基づく符号化／復号化が行われないので、画像復号化装置は、サブピクチャに関する情報（ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ）を取得しないことがある。
【0251】
【0252】
図１２を参照して説明したように、画像復号化装置は、スライスヘッダーから後続のシンタックス要素（図示せず）をパーシングすることにより、スライスヘッダーの復号化を行うことができる。
【0253】
【0254】
【0255】
図１９の実施例によれば、画像符号化装置は、ステップＳ１９１０でｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値（例えば、０又はＦａｌｓｅ）であるか否かを判断することができる。
【0256】
ステップＳ１９１０でｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第１値（例えば、１又はＴｒｕｅ）である場合、サブピクチャに基づく符号化／復号化が行われるので、現在ピクチャは、１つのスライスのみを含まない。よって、この場合、画像符号化装置は、スライスヘッダーにｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ及びピクチャヘッダーを符号化せずに、ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄを符号化することができる（Ｓ１９５０）。
【0257】
ステップＳ１９１０でｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値である場合、画像符号化装置は、第１フラグ（ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ＿ｉｎ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ＿ｆｌａｇ）の値を決定し、スライスヘッダーに第１フラグを符号化することができる（Ｓ１９２０）。画像符号化装置は、第１フラグが第１値であるか否かを判断し（Ｓ１９３０）、第１フラグが第１値である場合、スライスヘッダーにピクチャヘッダーを符号化することができる（Ｓ１９４０）。第１フラグが第２値である場合、画像符号化装置は、スライスヘッダーにピクチャヘッダーを符号化せず、この場合、画像符号化装置は、別途のＮＡＬユニットを介してピクチャヘッダーをシグナリングすることができる。ステップＳ１９１０で、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が第２値である場合、サブピクチャに基づく符号化／復号化が行われないので、画像符号化装置は、サブピクチャに関する情報（ｓｌｉｃｅ＿ｓｕｂｐｉｃ＿ｉｄ）をスライスヘッダーに符号化しないことがある。
【0258】
【0259】
図１３を参照して説明したように、画像符号化装置は、スライスヘッダーに後続のシンタックス要素（図示せず）を符号化することにより、スライスヘッダーの符号化を行うことができる。
【0260】
図１８及び図１９を参照して説明した例において、一部のステップは変更又は省略可能である。例えば、ｓｌｉｃｅ＿ａｄｄｒｅｓｓ及び／又はｎｕｍ＿ｔｉｌｅｓ＿ｉｎ＿ｓｌｉｃｅ＿ｍｉｎｕｓ１の符号化／復号化に関連する条件が変更できる。
【0261】
本開示の実施例によれば、ピクチャヘッダーがスライスヘッダーに存在するかに関する情報及び／又はピクチャが１つのスライスのみを含むかに関する情報のシグナリングをより効率よく行うことができる。
【0262】
また、本開示の実施例によれば、サブピクチャに基づく符号化／復号化が行われるか否かに基づいて、ピクチャヘッダーがスライスヘッダーに存在するかに関する前記情報などをシグナリングするので、不要な情報のシグナリングを防止することができる。
【0263】
本開示で説明されたシンタックス要素の名称は、当該シンタックス要素がシグナリングされる位置に関する情報を含むことができる。例えば、「ｓｐｓ＿」で始まるシンタックス要素は、当該シンタックス要素がＳＰＳ（シーケンスパラメータセット）でシグナリングされることを意味することができる。また、「ｐｐｓ＿」、「ｐｈ＿」、「ｓｈ＿」などで始まるシンタックス要素は、当該シンタックス要素がＰＰＳ（ピクチャパラメータセット）、ピクチャヘッダー（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）、スライスヘッダー（ｓｌｉｃｅ ｈｅａｄｅｒ）などでそれぞれシグナリングされることを意味することができる。
【0264】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
【0265】
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0266】
本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
【0267】
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0268】
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
【0269】
図２０は本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。
【0270】
図２０に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0271】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0272】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0273】
前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
【0274】
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0275】
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0276】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0277】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
【産業上の利用可能性】
【0278】
本開示による実施例は、画像の符号化／復号化に利用可能である。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【手続補正書】
【提出日】2024-02-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
サブピクチャに関する情報がビットストリーム内に存在するかどうかを示す第１フラグを取得するステップと、
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを取得するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）から取得され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像復号化方法。
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを取得するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを復号化するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）から取得され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像復号化方法。
【請求項2】
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含む、請求項１に記載の画像復号化方法。
【請求項3】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記スライスヘッダーから前記ピクチャヘッダー情報を取得するステップをさらに含む、請求項１に記載の画像復号化方法。
【請求項4】
前記第２フラグは、ＣＬＶＳ（coded layer video sequence）内の全てのスライスに対して同一の値を有する、請求項１に記載の画像復号化方法。
【請求項5】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記ピクチャヘッダー情報を伝送するためのＮＡＬ（network abstraction layer）ユニットは、ＣＬＶＳ内に存在しない、請求項１に記載の画像復号化方法。
【請求項6】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示すことに基づいて、前記ピクチャヘッダー情報は、ＮＡＬユニットタイプがＰＨ＿ＮＵＴと同じＮＡＬユニットから取得される、請求項１に記載の画像復号化方法。
【請求項7】
前記第１フラグは、スライスの上位レベルでシグナリングされ、
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項１に記載の画像復号化方法。
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項１に記載の画像復号化方法。
【請求項8】
サブピクチャに関する情報がビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）内に符号化され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像符号化方法。
ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、
前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）内に符号化され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、画像符号化方法。
【請求項9】
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記スライスヘッダーは、前記スライスヘッダーに関連するスライスを含むサブピクチャの識別子を含む、請求項８に記載の画像符号化方法。
【請求項10】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在することを示すことに基づいて、前記スライスヘッダー内に前記ピクチャヘッダー情報を符号化するステップをさらに含む、請求項８に記載の画像符号化方法。
【請求項11】
前記第２フラグは、ＣＬＶＳ（coded layer video sequence）内の全てのスライスに対して同一の値を有する、請求項８に記載の画像符号化方法。
【請求項12】
前記第２フラグが、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示すことに基づいて、前記ピクチャヘッダー情報は、ＮＡＬ（network abstraction layer）ユニットタイプがＰＨ＿ＮＵＴと同じＮＡＬユニットを介してシグナリングされる、請求項８に記載の画像符号化方法。
【請求項13】
前記第１フラグは、スライスの上位レベルでシグナリングされ、
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項８に記載の画像符号化方法。
前記第２フラグは、前記スライスヘッダー内に含まれてシグナリングされる、請求項８に記載の画像符号化方法。
【請求項14】
画像のためのビットストリームを伝送する方法であって、
前記ビットストリームを伝送する方法は、
サブピクチャに関する情報が前記ビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を行うことによって前記ビットストリームを生成するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）内に符号化され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、ビットストリームを伝送する方法。
前記ビットストリームを伝送する方法は、
サブピクチャに関する情報が前記ビットストリーム内に存在するかどうかを示す第１フラグを符号化するステップと、ピクチャヘッダー情報がスライスヘッダー内に存在するかどうかを示す第２フラグを符号化するステップと、前記第１フラグ及び前記第２フラグに基づいて前記ビットストリームを符号化するステップと、を行うことによって前記ビットストリームを生成するステップと、
前記ビットストリームを伝送するステップと、を含み、
前記第１フラグは、ＳＰＳ（sequence parameter set）内に符号化され、
前記第１フラグが、前記サブピクチャに関する前記情報が前記ビットストリーム内に存在することを示すことに基づいて、前記第２フラグは、前記ピクチャヘッダー情報が前記スライスヘッダー内に存在しないことを示す値を有する、ビットストリームを伝送する方法。