▶ エルジー エレクトロニクス インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024036651
(43)【公開日】2024-03-15
(54)【発明の名称】サブピクチャに基づく映像コーディング装置及び方法
(51)【国際特許分類】
H04N 19/70 20140101AFI20240308BHJP
【ＦＩ】
H04N19/70
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2024017925
(22)【出願日】2024-02-08
(62)【分割の表示】P 2022539069の分割
【原出願日】2020-12-23
(31)【優先権主張番号】62/953,180
(32)【優先日】2019-12-23
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．
【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】ヘンドリー ヘンドリー
(57)【要約】
【課題】シグナリング効率を高めたサブピクチャに基づく映像コーディング装置を提供する。
【解決手段】本文書の実施形態によると、サブピクチャ情報が存在するかどうかに基づいて仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされるかどうかが決定できる。例えば、サブピクチャ情報が当該シーケンスに対して存在する場合、仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされることができる。
【選択図】図５
【解決手段】本文書の実施形態によると、サブピクチャ情報が存在するかどうかに基づいて仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされるかどうかが決定できる。例えば、サブピクチャ情報が当該シーケンスに対して存在する場合、仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされることができる。
【選択図】図５
【特許請求の範囲】
【請求項1】
デコード装置により実行される映像デコード方法において、
ビットストリームを介してレジデュアル情報を含む映像情報を取得するステップと、
前記レジデュアル情報に基づいて現在ピクチャの復元サンプルを生成するステップと、
前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成するステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、映像デコード方法。
ビットストリームを介してレジデュアル情報を含む映像情報を取得するステップと、
前記レジデュアル情報に基づいて現在ピクチャの復元サンプルを生成するステップと、
前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成するステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、映像デコード方法。
【請求項2】
前記仮想境界の位置に関する情報は、垂直の仮想境界の位置に関する情報及び水平の仮想境界の位置に関する情報を含む、請求項１に記載の映像デコード方法。
【請求項3】
前記現在ピクチャは、サブピクチャとタイルを含み、
１つのタイル内の全てのコーディングツリーユニット（ＣＴＵｓ）は同じサブピクチャに属する、請求項１に記載の映像デコード方法。
１つのタイル内の全てのコーディングツリーユニット（ＣＴＵｓ）は同じサブピクチャに属する、請求項１に記載の映像デコード方法。
【請求項4】
前記現在ピクチャは、サブピクチャとタイルを含み、
１つのサブピクチャ内の全てのコーディングツリーユニット（ＣＴＵｓ）は同じタイルに属する、請求項１に記載の映像デコード方法。
１つのサブピクチャ内の全てのコーディングツリーユニット（ＣＴＵｓ）は同じタイルに属する、請求項１に記載の映像デコード方法。
【請求項5】
前記映像情報は、ピクチャヘッダを含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記仮想境界の位置に関する情報は、前記ピクチャヘッダに含まれない、請求項１に記載の映像デコード方法。
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記仮想境界の位置に関する情報は、前記ピクチャヘッダに含まれない、請求項１に記載の映像デコード方法。
【請求項6】
エンコード装置により実行される映像エンコード方法において、
現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成するステップと、
現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成するステップと、
前記レジデュアル情報及び前記インループフィルタリング関連情報を含む映像情報をエンコードするステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、映像エンコード方法。
現在ブロックに対するレジデュアルサンプルを生成するステップと、
前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成するステップと、
現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成するステップと、
前記レジデュアル情報及び前記インループフィルタリング関連情報を含む映像情報をエンコードするステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、映像エンコード方法。
【請求項7】
映像に対するデータの送信方法において、
前記映像に対するビットストリームを取得するステップであって、前記ビットストリームは、現在ブロックに対するレジデュアルサンプルを生成し、前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成し、現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成し、前記レジデュアル情報及び前記インループフィルタリング関連情報を含む映像情報をエンコードすることに基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、データ送信方法。
前記映像に対するビットストリームを取得するステップであって、前記ビットストリームは、現在ブロックに対するレジデュアルサンプルを生成し、前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成し、現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成し、前記レジデュアル情報及び前記インループフィルタリング関連情報を含む映像情報をエンコードすることに基づいて生成される、ステップと、
前記ビットストリームを含む前記データを送信するステップと、を含み、
前記映像情報は、シーケンスパラメータセット（ＳＰＳ）を含み、
前記ＳＰＳは、サブピクチャ関連情報が前記ＳＰＳに含まれるかどうかを示すサブピクチャ存在フラグを含み、
前記サブピクチャ関連情報は、ピクチャ内のサブピクチャの数に関する情報を含み、
前記サブピクチャ関連情報が前記ＳＰＳに含まれることを前記サブピクチャ存在フラグが示す場合、前記現在ピクチャ内のサブピクチャの数は１であり、仮想境界の位置に関する情報は、前記ＳＰＳに含まれると決定される、データ送信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本文書は、サブピクチャに基づく映像コーディング装置及び方法に関する。
【背景技術】
【0002】
近年、４Ｋ又は８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像／ビデオのような高解像度、高品質の映像／ビデオに対する需要が様々な分野で増加している。映像／ビデオデータが高解像度、高品質になるほど、既存の映像／ビデオデータに比べて相対的に送信される情報量又はビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して映像データを送信するか、既存の格納媒体を利用して映像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
【0003】
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム映像のように、現実映像と異なる映像特性を有する映像／ビデオに対する放送が増加している。
【0004】
これにより、前記のような様々な特性を有する高解像度・高品質の映像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の映像／ビデオ圧縮技術が求められる。
【0005】
具体的に、主観的／客観的ビジュアルの品質を高めるために、ピクチャはサブピクチャで構成され、サブピクチャ関連情報のシグナリングの効率を高めるための案に対する議論がある。
【発明の概要】
【課題を解決するための手段】
【0006】
本文書の一実施形態によると、映像／ビデオコーディングの効率を高める方法及び装置を提供する。
【0007】
本文書の一実施形態によると、効率的なフィルタリング適用方法及び装置を提供する。
【0008】
本文書の一実施形態によると、デブロックキング、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｌｏｏｐ）、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）を効率的に適用する方法及び装置を提供する。
【0009】
本文書の一実施形態によると、仮想境界に基づいてインループフィルタリングが行われる。
【0010】
本文書の一実施形態によると、サブピクチャ関連情報のシグナリングに基づいて仮想境界関連情報のシグナリングを実行することができる。
【0011】
本文書の一実施形態によると、ビデオ／映像エンコードを行うエンコード装置を提供する。
【0012】
本文書の一実施形態によると、本文書の実施形態の少なくとも１つに開示されたビデオ／映像エンコード方法によって生成されたエンコードされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
【0013】
本文書の一実施形態によると、デコード装置により本文書の実施形態の少なくとも１つに開示されたビデオ／映像デコード方法を行うように引き起こすエンコードされた情報又はエンコードされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
【発明の効果】
【0014】
本文書の一実施形態によると、全般的な映像／ビデオ圧縮効率を上げることができる。
【0015】
本文書の一実施形態によると、効率的なフィルタリングを介して主観的／客観的ビジュアル品質を高めることができる。
【0016】
本文書の一実施形態によると、サブピクチャのシグナリングに基づく仮想境界のシグナリングを介してビットストリームの再作成（ｒｅｗｒｉｔｉｎｇ）手順を省略することによって効率的なコーディングを実現することができる。
【図面の簡単な説明】
【0017】
【図1】本文書の実施形態に適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【図2】本文書の実施形態に適用されることができるビデオ／映像エンコード装置の構成を概略的に説明する図面である。
【図3】本文書の実施形態に適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図面である。
【図4】コーディングされた映像／ビデオに対する階層構造を例示的に示す。
【図5】本文書の一実施形態によるピクチャを示す。
【図6】本文書の一実施形態によるサブピクチャ／スライス／タイルに基づくエンコード方法を示す。
【図7】本文書の一実施形態によるサブピクチャ／スライス／タイルに基づくデコード方法を示す。
【図8】エンコード装置におけるフィルタリングに基づくエンコード方法を説明するためのフローチャートである。
【図9】デコード装置におけるフィルタリングに基づくデコード方法を説明するためのフローチャートである。
【図10】本文書の実施形態によるビデオ／映像エンコード方法及び関連コンポーネントの一例を概略的に示す。
【図11】本文書の実施形態によるビデオ／映像エンコード方法及び関連コンポーネントの一例を概略的に示す。
【図12】本文書の実施形態による映像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。
【図13】本文書の実施形態による映像／ビデオデコード方法及び関連コンポーネントの一例を概略的に示す。
【図14】本文書で開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。
【発明を実施するための形態】
【0018】
本文書は、様々な変更を加えることができ、種々の実施形態を有することができ、特定実施形態を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施形態に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、１つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。
【0019】
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成が結合されて１つの構成をなすこともでき、１つの構成を複数の構成に分けることもできる。各構成が統合及び／又は分離された実施形態も本文書の本質から外れない限り、本文書の権利範囲に含まれる。
【0020】
以下、添付の図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素について重複した説明は省略する。
【0021】
この文書は、ビデオ／映像コーディングに関する。例えば、この文書において開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはそれ以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準など）に関連する。
【0022】
この文書ではビデオ／映像コーディングに関する多様な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせて実行されることもできる。
【0023】
この文書においてビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味し得る。ピクチャ（ｐｉｃｔｕｒｅ）は、一般に特定の時間帯の１つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）はコーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含んでもよい。１つのピクチャは１つ以上のスライス／タイルで構成されてもよい。１つのピクチャは１つ以上のタイルグループで構成されてもよい。１つのタイルグループは１つ以上のタイルを含んでもよい。
【0024】
ピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）は、１つのピクチャ（又は、映像）を構成する最小の単位を意味し得る。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されてもよい。サンプルは、一般的にピクセル又はピクセルの値を示し、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
【0025】
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関する情報のうち少なくとも１つを含む。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含む。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されてもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（又は、アレイ）を含む。
【0026】
本文書において、「／」と「、」は、「及び／又は」と解釈される。例えば、「Ａ／Ｂ」は「Ａ及び／又はＢ」と解釈され、「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈される。追加的に、「Ａ／Ｂ／Ｃ」は「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。また、「Ａ、Ｂ、Ｃ」も「Ａ、Ｂ及び／又はＣの少なくとも１つ」を意味する。
【0027】
追加的に、本文書において「又は」は「及び／又は」と解釈される。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味し、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味し得る。言い換えれば、本文書の「又は」は「追加的に又は代替的に（ａｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味し得る。
【0028】
本明細書において「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」は、「Ａのみ」、「Ｂのみ」又は「ＡとＢの両方」を意味し得る。また、本明細書において「少なくとも１つのＡ又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）」や「少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）」という表現は、「少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）」と同様に解釈され得る。
【0029】
また、本明細書において、「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」を意味し得る。また、「少なくとも１つのＡ、Ｂ又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ｏｒ Ｃ）」や「少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ）」は「少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ， Ｂ ａｎｄ Ｃ））」を意味し得る。
【0030】
また、本明細書において用いられる括弧は「例えば（ｆｏｒ ｅｘａｍｐｌｅ）」を意味し得る。具体的に、「予測（イントラ予測）」と表示されている場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。言い換えると、本明細書の「予測」は「イントラ予測」に制限（ｌｉｍｉｔ）されることなく、「イントラ予測」が「予測」の一例として提案されるものであり得る。また、「予測（すなわち、イントラ予測）」と表示されている場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。
【0031】
本明細書において１つの図面内において個別に説明される技術的特徴は、個別に実現されてもよく、同時に実現されてもよい。
【0032】
図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
【0033】
図１に示すように、ビデオ／映像コーディングシステムはソースデバイス及び第受信デバイスを備えることができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスに伝達することができる。
【0034】
前記ソースデバイスは、ビデオソース、エンコード装置、送信部を備えることができる。前記受信デバイスは、受信部、デコード装置、及びレンダラを備えることができる。前記エンコード装置は、ビデオ／映像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／映像デコード装置と呼ばれることができる。送信機は、エンコード装置に備えられることができる。受信機は、デコード装置に備えられることができる。レンダラは、ディスプレイ部を備えることができ、ディスプレイ部は、別個のデバイス又は外部コンポーネントで構成されることもできる。
【0035】
ビデオソースは、ビデオ／映像のキャプチャ、合成、又は生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／又はビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成され得るし、この場合、関連データが生成される過程にビデオ／映像キャプチャ過程が代替されることができる。
【0036】
エンコード装置は、入力ビデオ／映像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を行うことができる。エンコードされたデータ（エンコードされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
【0037】
送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／映像情報又はデータをファイル又はストリーミング形態でデジタル格納媒体又はネットワークを介して受信デバイスの受信部に伝達することができる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。送信部は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介しての送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達することができる。
【0038】
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を行ってビデオ／映像をデコードすることができる。
【0039】
レンダラは、デコードされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
【0040】
図２は、本文書 が適用されることができるビデオ／映像エンコード装置の構成を概略的に説明する図面である。以下、ビデオエンコード装置というのは、映像エンコード装置を含むことができる。
【0041】
図２に示すように、エンコード装置２００は、映像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）又は復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した映像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセット又はプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
【0042】
映像分割部２１０は、エンコード装置２００に入力された入力映像（又は、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、映像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、又は、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
【0043】
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）又は領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセル又はピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（又は、映像）をピクセル（ｐｉｘｅｌ）又はペル（ｐｅｌ）に対応する用語として使用することができる。
【0044】
減算部２３１は、入力映像信号（原本ブロック、原本サンプル又は原本サンプルアレイ）で予測部２２０から出力された予測信号（予測されたブロック、予測サンプル又は予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプル又はレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、又はインター予測が適用されるか決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。
【0045】
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上又はそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0046】
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
【0047】
予測部２２０は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することができる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを用いることができる。
【0048】
インター予測部２２１及び／又はイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために用いられるか、レジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ） などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するという際に、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は正方形の同じサイズを有するピクセルブロックに適用されてもよく、正方形ではない可変サイズのブロックに適用されてもよい。
【0049】
量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信され、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような様々なエンコード方法を行うことができる。エントロピーエンコード部２４０は、量子化された変換係数の他に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共に又は別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信又は格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、又はビデオパラメータセット（ＶＰＳ）等、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、後述されるシグナリング／送信される情報及び／又はシンタックス要素は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、又はデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、又は送信部は、エントロピーエンコード部２４０に含まれることもできる。
【0050】
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元できる。加算部１５５は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプル又は復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0051】
一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0052】
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法についての説明で後述するように、フィルタリングに関する様々な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。
【0053】
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置１００とデコード装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
【0054】
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（又は、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
【0055】
図３は、本文書が適用されることができるビデオ／映像デコード装置の構成を概略的に説明する図面である。
【0056】
図３に示すように、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセット又はプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
【0057】
ビデオ／映像情報を含むビットストリームが入力されれば、デコード装置３００は、図３のエンコード装置でビデオ／映像情報が処理されたプロセスに対応して映像を復元できる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを用いてデコードを行うことができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコード装置３００を介してデコード及び出力された復元映像信号は、再生装置を介して再生されることができる。
【0058】
デコード装置３００は、図３のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして映像復元（又は、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出できる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、又はビデオパラメータセット（ＶＰＳ）など、様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報に基づいてさらにピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされて、前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報をデコードし、映像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力できる。より具体的に、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に該当するビンを受信し、デコード対象のシンタックス要素情報と隣接及びデコード対象ブロックのデコード情報又は以前ステップでデコードされたシンボル／ビンの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってビン（ｂｉｎ）の発生確率を予測してビンの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行い、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ビンの文脈モデルのためにデコードされたシンボル／ビンの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部３３０に提供され、エントロピーデコード部３１０でエントロピーデコードが行われたレジデュアル情報、すなわち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、又は受信部は、エントロピーデコード部３１０の構成要素であることもできる。一方、本文書に係るデコード装置は、ビデオ／映像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を備えることができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち、少なくとも１つを備えることができる。
【0059】
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力できる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
【0060】
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
【0061】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、又はインター予測が適用されるか決定することができ、具体的なイントラ／インター予測モードを決定することができる。
【0062】
予測部は、後述する様々な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することができる。 前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ映像／動画コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と同様に行われることができる。すなわち、ＩＢＣは、本文書において説明されるインター予測技法のうち、少なくとも１つを利用することができる。パレットモードは、イントラコーディング又はイントラ予測の一例と見なすことができる。
【0063】
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測できる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することができ、又は離れて位置することができる。イントラ予測において予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0064】
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを備えることができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。様々な予測モードに基づいてインター予測が行われ得るし、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
【0065】
加算部３４０は、取得されたレジデュアル信号を予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
【0066】
加算部３４０は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることができ、又は次のピクチャのインター予測のために使用されることもできる。
【0067】
一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
【0068】
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに様々なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
【0069】
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（又は、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納できる。前記格納された動き情報は、空間的隣接ブロックの動き情報又は時間的隣接ブロックの動き情報として活用するために、インター予測部３３２に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納でき、イントラ予測部３３１に伝達することができる。
【0070】
本明細書において、デコード装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施形態は、各々、エンコード装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一又は対応されるように適用されることができる。
【0071】
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（又は、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコード装置及びデコード装置で同じく導出され、前記エンコード装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに対する情報（レジデュアル情報）をデコード装置にシグナリングすることで映像コーディング効率を上げることができる。デコード装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
【0072】
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングできる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、前記レジデュアル情報に基づいて逆量子化／逆変換の手順を実行してレジデュアルサンプル（又は、レジデュアルブロック）を導出することができる。デコード装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
【0073】
本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも１つは、省略されることができる。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることができる。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもでき、又は、表現の統一性のために、依然として変換係数と呼ばれることもできる。
【0074】
本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、前記変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は、前記変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。
【0075】
エンコード装置／デコード装置の予測部は、ブロック単位でインター予測を行って予測サンプルを導出することができる。インター予測は、現在ピクチャ以外のピクチャのデータ要素（ｅｘ．サンプル値、又は動き情報）に依存的な方法で導出される予測を示すことができる。現在ブロックにインター予測が適用される場合、参照ピクチャのインデックスの指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャのインデックスを含むことができる。前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）の情報を更に含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間的隣接ブロックを含む参照ピクチャとは同一であってもよく、異なってもよい。前記時間的隣接ブロックは、同じ位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同じ位置ＣＵ（ｃｏｌＣＵ）等の名称で呼ばれ得、前記時間的隣接ブロックを含む参照ピクチャは、同じ位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもある。例えば、現在ブロックの隣接ブロックに基づいて動き情報の候補リストが構成されることができ、前記現在ブロックの動きベクトル及び／又は参照ピクチャのインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグ又はインデックス情報がシグナリングされることができる。様々な予測モードに基づいてインター予測が行われ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報を同一であり得る。スキップモードの場合、マージモードと異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を用いて、前記現在ブロックの動きベクトルを導出することができる。
【0076】
前記動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）に応じて、Ｌ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトル又はＭＶＬ０と呼ばれ得、Ｌ１方向の動きベクトルは、Ｌ１動きベクトル又はＭＶＬ１と呼ばれ得る。Ｌ０動きベクトルに基づいた予測は、Ｌ０予測と呼ばれ得、Ｌ１動きベクトルに基づいた予測をＬ１予測と呼ばれ得、前記Ｌ０動きベクトル及び前記Ｌ１動きベクトルの両方に基づいた予測を双（Ｂｉ）予測と呼ばれ得る。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連する動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連する動きベクトルを示すことができる。参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャに含むことができ、参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以後のピクチャを含むことができる。前記以前のピクチャは、順方向（参照）ピクチャと呼ばれ得、前記以後のピクチャは、逆方向（参照）ピクチャと呼ばれ得る。前記参照ピクチャリストＬ０は、前記現在ピクチャよりも、出力順序上、以後のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリストＬ０内で前記以前のピクチャが先にインデキシングされ、前記以後のピクチャは、その後にインデキシングされ得る。前記参照ピクチャリストＬ１は、前記現在ピクチャよりも、出力順序上、以前のピクチャを参照ピクチャにさらに含むことができる。この場合、前記参照ピクチャリスト１内で前記以後のピクチャが先にインデキシングされ、前記以前のピクチャは、その後にインデキシングされ得る。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応し得る。
【0077】
図４は、コーディングされた映像／ビデオに対する階層構造を例示的に示す。
【0078】
図４を参照すると、コーディングされた映像／ビデオは、映像／ビデオのデコード処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、及びＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。
【0079】
ＶＣＬでは、圧縮された映像データ（スライスデータ）を含むＶＣＬデータを生成し、又は、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセット又は映像のデコード過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
【0080】
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどを意味する。ＮＡＬユニットヘッダには該当ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
【0081】
前記図面に示すように、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰによって、ＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、映像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、映像をデコードするために必要な情報（パラメータセット又はＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。
【0082】
前述したＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態に変形されて多様なネットワークを介して送信されることができる。
【0083】
前述したように、ＮＡＬユニットは、該当ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。
【0084】
例えば、ＮＡＬユニットが映像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
【0085】
下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例である。
【0086】
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
【0087】
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
【0088】
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ
【0089】
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
【0090】
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ
【0091】
－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ
【0092】
前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、前記シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。
【0093】
一方、前述したように、１つのピクチャは、複数のスライスを含むことができ、１つのスライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、１つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータ集合）に対して１つのピクチャヘッダがさらに付加されることができる。前記ピクチャヘッダ（ピクチャヘッダシンタックス）は、前記ピクチャに共通的に適用できる情報／パラメータを含むことができる。本文書において、スライスは、タイルグループに混用又は代替されることができる。また、本文書において、スライスヘッダは、タイプグループヘッダに混用又は代替されることができる。
【0094】
前記スライスヘッダ（スライスヘッダシンタックス、スライスヘッダ情報）は、前記スライスに共通的に適用できる情報／パラメータを含むことができる。前記ＡＰＳ（ＡＰＳシンタックス）又はＰＰＳ（ＰＰＳシンタックス）は、１つ以上のスライス又はピクチャに共通的に適用できる情報／パラメータを含むことができる。前記ＳＰＳ（ＳＰＳシンタックス）は、１つ以上のシーケンスに共通的に適用できる情報／パラメータを含むことができる。前記ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通的に適用できる情報／パラメータを含むことができる。前記ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連する情報／パラメータを含むことができる。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスのうち少なくとも１つを含むことができる。
【0095】
本文書において、エンコード装置からデコード装置にエンコードされてビットストリーム形態でシグナリングされる映像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、前記スライスヘッダに含まれている情報、前記ピクチャヘッダに含まれている情報、前記ＡＰＳに含まれている情報、前記ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含むことができる。また、前記映像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。
【0096】
一方、量子化など、圧縮符号化過程で発生するエラーによる原本（ｏｒｉｇｉｎａｌ）映像と復元映像の差異を補償するために、前述したように、復元サンプル又は復元ピクチャにインループフィルタリング手順が実行されることができる。前述したように、インループフィルタリングは、エンコード装置のフィルタ部及びデコード装置のフィルタ部で実行されることができ、デブロッキングフィルタ、ＳＡＯ及び／又は適応的ループフィルタ（ＡＬＦ）が適用されることができる。例えば、ＡＬＦ手順は、デブロッキングフィルタリング手順及び／又はＳＡＯ手順が完了した後に実行されることができる。ただし、この場合も、デブロッキングフィルタリング手順及び／又はＳＡＯ手順が省略されることもできる。
【0097】
以下、ピクチャ復元及びフィルタリングに対する具体的な説明が記述される。映像／ビデオコーディングにおいて、各ブロック単位でイントラ予測／インター予測に基づいて復元ブロックが生成されることができ、復元ブロックを含む復元ピクチャが生成されることができる。現在ピクチャ／スライスがＩピクチャ／スライスである場合、前記現在ピクチャ／スライスに含まれるブロックは、イントラ予測のみに基づいて復元されることができる。一方、現在ピクチャ／スライスがＰ又はＢピクチャ／スライスである場合、前記現在ピクチャ／スライスに含まれるブロックは、イントラ予測又はインター予測に基づいて復元されることができる。この場合、現在ピクチャ／スライス内の一部ブロックに対してはイントラ予測が適用され、残りのブロックに対してはインター予測が適用されることもできる。
【0098】
イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、前記現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。
【0099】
ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコードされない、又は利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。
【0100】
隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性モード又は非角度モードと呼ばれ、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。また、前記隣接参照サンプルのうち前記現在ブロックの予測サンプルを基準にして、前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２の隣接サンプルと前記第１の隣接サンプルとの補間を介して前記予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードと呼ばれることができる。また、フィルタリングされた隣接参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードにより導出された少なくとも１つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使われた参照サンプルラインをデコード装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ又はＭＲＬベースのイントラ予測と呼ばれることができる。また、現在ブロックを垂直又は水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、前記サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同じく適用され、前記サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）又はＩＳＰベースのイントラ予測と呼ばれることができる。前述したイントラ予測方法は、目次１及び２でのイントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法又は付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（又は、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも１つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。
【0101】
具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。
【0102】
インループフィルタリング手順により修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャが生成され、デコード装置から前記修正された復元ピクチャがデコードされたピクチャとして出力され、またエンコード装置／デコード装置の復号ピクチャバッファ又はメモリに格納されて、以後にピクチャのエンコード／デコード時のインター予測手順において参照ピクチャとして使用されることができる。前記インループフィルタリング手順は、前述のようにデブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順及び／又はＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順などを含む。この場合、前記デブロッキングフィルタリング手順、ＳＡＯ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）手順、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）手順及びバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）手順のうちの１つ又は一部が順次適用されてもよく、または全てが順次適用されてもよい。例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＳＡＯ手順が行われてもよい。または、例えば、復元ピクチャに対してデブロッキングフィルタリング手順が適用された後、ＡＬＦ手順が行われてもよい。これはエンコード装置においても同様に行われる。
【0103】
デブロッキングフィルタリングは、復元されたピクチャでブロック間の境界に発生する歪曲を除去するフィルタリング技法である。デブロッキングフィルタリング手順は、例えば、復元ピクチャでターゲット境界を導出し、前記ターゲット境界に対するｂＳ（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ）を決定し、前記ｂＳに基づいて前記ターゲット境界に対するデブロッキングフィルタリングを実行することができる。前記ｂＳは、前記ターゲット境界を隣接する２つのブロックの予測モード、動きベクトル差、参照ピクチャ同一可否、０でない有効係数の存在可否などに基づいて決定されることができる。
【0104】
ＳＡＯは、サンプル単位で復元ピクチャと原本ピクチャとのオフセット差を補償する方法であって、例えば、バンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ）などのタイプに基づいて適用されることができる。ＳＡＯによると、各ＳＡＯタイプによってサンプルを互いに異なるカテゴリに分類し、カテゴリに基づいて各サンプルにオフセット値を足すことができる。ＳＡＯのためのフィルタリング情報は、ＳＡＯ適用可否に関する情報、ＳＡＯタイプ情報、ＳＡＯオフセット値情報などを含むことができる。ＳＡＯは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。
【0105】
ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）は、復元ピクチャに対してフィルタ形状によるフィルタ係数に基づいてサンプル単位でフィルタリングする技法である。エンコード装置は、復元ピクチャと原本ピクチャの比較を介してＡＬＦ適用可否、ＡＬＦ形状及び／又はＡＬＦフィルタリング係数などを決定することができ、デコード装置にシグナリングすることができる。即ち、ＡＬＦのためのフィルタリング情報は、ＡＬＦ適用可否に関する情報、ＡＬＦフィルタ形状（ｓｈａｐｅ）情報、ＡＬＦフィルタリング係数情報などを含むことができる。ＡＬＦは、前記デブロッキングフィルタリング適用後の復元ピクチャに対して適用されることもできる。
【0106】
【0107】
図５を参照すると、ピクチャはサブピクチャに分割されることができる。例えば、サブピクチャは１つ以上のスライスを含むことができる。スライスはピクチャの長方形領域を示すことができる。また、ピクチャはタイルに分割されることができる。例えば、長方形のスライスは１つのタイルの一部（ｓｕｂｓｅｔ）のみを含み得る。すなわち、図５では２つの長方形のスライスが同じタイルを共有し（ａｒｅ ｗｉｔｈｉｎ ｔｈｅ ｓａｍｅ ｔｉｌｅ）、前記２つの長方形のスライスは各々異なるサブピクチャに属し得る。図５のようなケースが引き起こし得る問題点とそれに対する解決策は後述する。
【0108】
一例において、ピクチャ／サブピクチャはサブピクチャ／スライス／タイルに基づいてコーディングされることができる。エンコード装置はサブピクチャ／スライス／タイル構造に基づいて現在ピクチャをエンコードすることができ、又はエンコード装置は現在ピクチャの１つ以上のサブピクチャ（スライス／タイルを含む）をエンコードし、サブピクチャに関する（エンコードされた）情報を含む（サブ）ビットストリームを出力することができる。デコード装置はサブピクチャ／スライス／タイルに関する（エンコードされた）情報を含む（サブ）ビットストリームに基づいて現在ピクチャ内の１つ以上のサブピクチャをデコードすることができる。
【0109】
図６は、本文書の一実施形態によるサブピクチャ／スライス／タイルに基づくエンコード方法を示す。
【0110】
エンコーダは、（入力）ピクチャを複数の（又は１つ以上の）サブピクチャ／スライス／タイルに分割することができる。各々のサブピクチャは個別に／独立にエンコードされることができ、また、ビットストリームが出力できる。ここで、サブピクチャに対するビットストリームは、サブストリーム、サブセット（ｓｕｂｓｅｔ）、又はサブ－ビットストリームと称され得る。サブピクチャ／スライス／タイルに対する情報は、本文書に説明された情報／シンタックス要素を含み得る。例えば、スライスに対する情報は、各ピクチャ／サブピクチャ毎にシグナリングされるスライスの数、タイル内スライスの幅／高さなどと関連した情報を含み得る。例えば、タイルに関する情報は、タイルの数（例えば、タイルの列及び／又は行の数）に関連した情報、及び各タイルの大きさ（例えば、幅及び／又は高さ）と関連した情報を含み得る。
【0111】
エンコーダは、サブピクチャに対する情報で１つ以上のサブピクチャをエンコードすることができる。エンコーダは、スライス／タイルに対する情報で１つ以上のスライス／タイルをエンコードすることができる。
【0112】
図７は、本文書の一実施形態によるサブピクチャ／スライス／タイルに基づくデコード方法を示す。
【0113】
デコーダは、１つ以上のサブピクチャ（スライス／タイルを含む）をデコードすることができ、また、１つ以上のデコードされたサブピクチャを出力するか、又はサブピクチャを含む現在ピクチャを出力することができる。ビットストリームは、サブピクチャに対するサブ－ストリーム又はサブ－ビットストリームを含むことができる。前述したように、サブピクチャ／スライス／タイルに関する情報は、ビットストリームに含まれた上位レベルシンタックス（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）内に構成されることができる。デコーダは、サブピクチャに関する情報に基づいて１つ以上のサブピクチャを導出することができる。デコーダは、スライス／タイルに関する情報に基づいて１つ以上のスライス／タイルを導出することができる。デコーダはサブピクチャの全部又は一部をデコードすることができる。デコーダは、ＣＡＢＡＣ、予測、レジデュアルプロセシング（変換、量子化）、インループフィルタリングなどに基づいてサブピクチャ（現在ブロック（又はＣＵ）を含む）、ＣＴＵ、スライス及び／又はタイルをデコードすることができる。これによって、デコードされたサブピクチャが出力できる。デコードされたサブピクチャは、復元された／デコードされたブロックを含むことができる。出力サブピクチャセット（ｏｕｔｐｕｔ ｓｕｂｐｉｃｔｕｒｅ ｓｅｔ、ＯＰＳ）内のデコードされたサブピクチャも共に出力されることができる。一例として、ピクチャが３６０度又は全方向（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）の映像／ビデオと関連する場合に、そのうちの一部がレンダリングされ得、このとき、全体サブピクチャのうちの一部のサブピクチャのみがデコードされ得、かつ、ユーザビューポート（ｕｓｅｒ ｖｉｅｗｐｏｒｔ）又はビューイングポジション（ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ）に応じてデコードされたサブピクチャの一部又は全部がレンダリングされ得る。これと共に、サブピクチャの境界を横切って（ａｃｒｏｓｓ）インループフィルタリングが可用であるかどうかを指示する（示す）情報が可用である場合、デコーダは２つのサブピクチャの間に位置するサブピクチャの境界に対してインループフィルタリング手順（例えば、デブロッキングフィルタリング）を適用することができる。例えば、サブピクチャの境界がピクチャの境界と同じであれば、サブピクチャの境界に対するインループフィルタリング手順は適用／実行されないことがある。
【0114】
本文書の実施形態において、映像／ビデオ情報はＨＬＳを含み得、ＨＬＳはサブピクチャ／スライス／タイルに関する情報を含み得る。サブピクチャに関する情報は、現在ピクチャ内の１つ以上のサブピクチャを示す情報を含み得る。スライスに関する情報は、現在ピクチャ、サブピクチャ、又はタイル内の１つ以上のスライスを示す情報を含み得る。タイルに関する情報は、現在ピクチャ、サブピクチャ、又はスライス内の１つ以上のタイルを示す情報を含み得る。ピクチャは１つ以上のスライスを含むタイル、及び／又は１つ以上のタイルを含むスライスを含み得る。また、ピクチャは１つ以上のスライス／タイルを含むサブピクチャを含み得る。
【0115】
次の表は、前述したピクチャの分割（サブピクチャ／スライス／タイル）と関連したシンタックスを示す。サブピクチャ／スライス／タイルに関する情報は、次の表内のシンタックス要素を含み得る。
【0116】
次の表は、ピクチャの分割（サブピクチャ／スライス／タイル）に基づくシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＳＰＳ）のシンタックスを示す。
【0117】
【表1】
【0118】
次の表は、ピクチャの分割（サブピクチャ／スライス／タイル）に基づくピクチャパラメータセット（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ、ＰＰＳ）のシンタックスを示す。
【0119】
【表2】
【0120】
次の表は、ピクチャの分割（サブピクチャ／スライス／タイル）に基づくスライスヘッダのシンタックスを示す。
【0121】
【表3】
【0122】
【0123】
Ｓ８００のステップにおいて、エンコード装置は復元ピクチャを生成することができる。Ｓ８００のステップは、前述した復元ピクチャ（又は復元サンプル）生成手順に基づいて実行されることができる。
【0124】
Ｓ８１０のステップにおいて、エンコード装置は、インループフィルタリング関連情報に基づいて（仮想境界を横切って）インループフィルタリングが適用されるかどうかを決定することができる。ここで、インループフィルタリングは、前述したデブロッキングフィルタリング、ＳＡＯ、又はＡＬＦの少なくとも１つを含むことができる。
【0125】
Ｓ８２０のステップにおいて、エンコード装置は、Ｓ８１０のステップの前記決定に基づいて修正された復元ピクチャ（修正された復元サンプル）を生成することができる。ここで、修正された復元ピクチャ（修正された復元サンプル）は、フィルタリングされた復元ピクチャ（フィルタリングされた復元サンプル）であり得る。
【0126】
Ｓ８３０のステップにおいて、エンコード装置は、インループフィルタリング手順に基づいてインループフィルタリング関連情報を含む映像／ビデオ情報をエンコードすることができる。
【0127】
【0128】
Ｓ９００のステップにおいて、デコード装置はビットストリームからインループフィルタリング関連情報を含む映像／ビデオ情報を取得することができる。ここで、ビットストリームはエンコード装置から送信されたエンコードされた映像／ビデオ 情報に基づくことができる。
【0129】
Ｓ９１０のステップにおいて、デコード装置は復元ピクチャを生成することができる。Ｓ９１０のステップは、前述した復元ピクチャ（又は復元サンプル）生成手順に基づいて実行されることができる。
【0130】
Ｓ９２０のステップにおいて、デコード装置はインループフィルタリング関連情報に基づいて（仮想境界を横切って）インループフィルタリングが適用されるかどうかを決定することができる。ここで、インループフィルタリングは前述したデブロッキングフィルタリング、ＳＡＯ、又はＡＬＦの少なくとも１つを含むことができる。
【0131】
Ｓ９３０のステップにおいて、デコード装置は、Ｓ９２０のステップの前記決定に基づいて修正された復元ピクチャ（修正された復元サンプル）を生成することができる。ここで、修正された復元ピクチャ（修正された復元サンプル）はフィルタリングされた復元ピクチャ（フィルタリングされた復元サンプル）であり得る。
【0132】
前述したように、復元ピクチャにインループフィルタリング手順が適用できる。この場合、復元ピクチャの主観的／客観的ビジュアルの品質をより高めるために仮想境界を定義し、前記仮想境界を横切って（ａｃｒｏｓｓ）前記インループフィルタリング手順を適用することもできる。前記仮想境界は、例えば、３６０度映像、ＶＲ映像、又はＰＩＰ（ｐｉｃｔｕｒｅ ｉｎ ｐｉｃｔｕｒｅ）などの不連続エッジを含み得る。例えば、前記仮想境界は予め定められた約束した位置に存在し得、その存否及び／又は位置がシグナリングされ得る。一例として、前記仮想境界はＣＴＵ行における上方の４番目のサンプルライン（具体的に、例えば、前記ＣＴＵ行における上方の４番目のサンプルラインの上側）に位置し得る。他の例として、前記仮想境界は、その存否及び／又は位置に関する情報がＨＬＳを介してシグナリングされることもある。前記ＨＬＳは、前述したように、ＳＰＳ、ＰＰＳ、ピクダヘッダ、スライスヘッダなどを含み得る。
【0133】
以下では、本文書の実施形態に関する上位レベルシンタックスのシグナリング及びセマンティクスについて説明する。
【0134】
本文書の一実施形態は、ループフィルタを制御する方法を含むことができる。ループフィルタを制御する本方法は、復元ピクチャに対して適用されることができる。インループフィルタ（ループフィルタ）はエンコードされたビットストリームのデコードのために使用されることができる。ループフィルタは、前述したデブロッキング、ＳＡＯ、ＡＬＦを含み得る。ＳＰＳは、デブロッキング、ＳＡＯ、ＡＬＦの各々と関連したフラグを含み得る。前記フラグは、前記ＳＰＳを参照するＣＬＶＳ（ｃｏｄｅｄ ｌａｙｅｒ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のコーディングのために各ツールが可用であるかどうかを示すことができる。
【0135】
前記ループフィルタがＣＶＳに対して可用である場合、前記ループフィルタの適用は、特定の境界を横切らないように制御され得る。例えば、前記ループフィルタがサブピクチャの境界を横切るかどうかが制御され得る。また、前記ループフィルタがタイルの境界を横切るかどうかが制御され得る。これと共に、前記ループフィルタが仮想境界を横切るかどうかが制御され得る。ここで、仮想境界はラインバッファの可用性に基づいてＣＴＵ上に定義されることができる。
【0136】
仮想境界を横切ってインループフィルタリング手順が実行されるかどうかと関連し、インループフィルタリング関連情報はＳＰＳの仮想境界可用フラグ（ＳＰＳ内の仮想境界可用フラグ）、ＳＰＳの仮想境界存在フラグ、ピクチャヘッダの仮想境界存在フラグ、ＳＰＳピクチャヘッダの仮想境界存在フラグ、仮想境界の位置に関する情報の少なくとも１つを含むことができる。
【0137】
本文書に含まれた実施形態において、仮想境界の位置に関する情報は、垂直の仮想境界のｘ座標に関する情報及び／又は水平の仮想境界のｙ座標に関する情報を含むことができる。具体的に、仮想境界の位置に関する情報は、ルマサンプル単位の垂直の仮想境界のｘ座標及び／又は水平の仮想境界のｙ座標に関する情報を含むことができる。また、仮想境界の位置に関する情報は、ＳＰＳに存在する垂直の仮想境界のｘ座標に関する情報（シンタックス要素）の数に関する情報を含むことができる。また、仮想境界の位置に関する情報は、ＳＰＳに存在する水平の仮想境界のｙ座標に関する情報（シンタックス要素）の数に関する情報を含むことができる。又は、仮想境界の位置に関する情報は、ピクチャヘッダに存在する垂直の仮想境界のｘ座標に関する情報（シンタックス要素）の数に関する情報を含むことができる。また、仮想境界の位置に関する情報は、ピクチャヘッダに存在する水平の仮想境界のｙ座標に関する情報（シンタックス要素）の数に関する情報を含むことができる。
【0138】
次の表は、本実施形態によるＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）の例示的なシンタックス及びセマンティクスを示す。
【0139】
【表4】
【0140】
【表5】
【0141】
次の表は、本実施形態によるＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）の例示的なシンタックス及びセマンティクスを示す。
【0142】
【表6】
【0143】
【表7】
【0144】
次の表は、本実施形態によるピクチャヘッダの例示的なシンタックス及びセマンティクスを示す。
【0145】
【表8-1】
【0146】
【表8-2】
【0147】
【表9-1】
【0148】
【表9-2】
【0149】
次の表は、本実施形態によるスライスヘッダの例示的なシンタックス及びセマンティクスを示す。
【0150】
【表10】
【0151】
【表11】
【0152】
以下では、サブピクチャと関連した情報、インループフィルタリングで使用されることができる仮想境界と関連した情報、及びそれらのシグナリングについて説明する。
【0153】
一例において、互いに異なる２つの長方形のスライスは同じタイルを共有しながら、互いに異なるサブピクチャに属し得る。この場合、コーディングのための複雑度が増加するという問題が発生し得る。
【0154】
ピクチャの分割の単純化のために、本文書の一実施形態は２つ以上のサブピクチャに分割されるピクチャのための条件の例示を含むことができる。一例において、１つのタイル内の全てのＣＴＵは同じサブピクチャに属し得る。他の例において、サブピクチャ内の全てのＣＴＵは同じタイルに属し得る。前記両例示は、映像／ビデオコーディングのために各々適用されてもよく、順次適用されてもよく、又は組み合わせて適用されてもよい。また、本文書の一実施形態では、サブピクチャが１つのタイル内の全てのＣＴＵの部分集合であるＣＴＵを含む場合、前記サブピクチャが他のタイルに属したＣＴＵを含まなくてもよい。
【0155】
現在ピクチャのためのシグナリングで、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ＳＰＳを参照する各ピクチャ内のサブピクチャの数は１であり得る（ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は０）。このような条件は、パラメータセットよりも低い値を変更しなくても他のビットストリームを形成するためにビットストリームから独立にコーディングされたサブピクチャが抽出され得るサブピクチャの抽出利用の例示をサポートするために作られた。従って、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であり、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値が０である場合にも、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［０］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［０］、ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［０］、ｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［０］、ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］、及び／又はｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｕｂｐｉｃ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｉ］は依然として存在する。このような状況で、かかるシンタックス要素の存在は重複するだけでなく、当該シンタックス要素に対して誤った値が信号を受けると、デコーダの動作を予測できないように作ることができる。例えば、ｓｕｂｐｉｃｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１であり、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値が０である場合、これは１つのサブピクチャ（ピクチャ自体）のみあることを意味し、ｓｕｂｐｉｃ＿ｔｒｅａｔ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［０］の値は１の通りである。このとき、当該値が０の値にシグナリングされれば、デコード手順で矛盾する問題が発生し得る。
【0156】
前記段落で説明された問題を解決するために、本文書の一実施形態はサブピクチャのシグナリングが存在し（例えば、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は１）、また、ピクチャ内に１つのサブピクチャのみが存在する（例えば、ｓｐｓ＿ｎｕｍ＿ｓｕｂｐｉｃｓ＿ｍｉｎｕｓ１の値は０）の場合に適用され得る条件の例示を含む。前記条件の例示は、次の表の通りである。
【0157】
【表12】
【0158】
一例において、サブピクチャのシグナリングが存在し、また仮想境界の位置がピクチャヘッダに存在する場合、サブピクチャの抽出及びサブピクチャの併合のシナリオで仮想境界の位置のシグナリングが正しいか確認するために、ピクチャヘッダを再度作成しなければならないという問題がある。これは、パラメータセットよりも低い層のＮＡＬ単位に対してビットストリームの再作成（ｒｅｗｒｉｔｔｅｎ）が必要ではないサブピクチャの抽出／併合の設計目的に違背し得る。
【0159】
前記段落の問題点を解決するために、本文書の一実施形態では、サブピクチャのシグナリングが存在する場合（例えば、サブピクチャのシグナリングがＳＰＳに存在する場合）、仮想境界の位置のシグナリングがピクチャヘッダに含まれないことがある。一例において、サブピクチャのシグナリングが存在する場合には、仮想境界の位置に関する情報が上位レベルのパラメータセットに含まれ得る。例えば、サブピクチャのシグナリングが存在する場合には、仮想境界の位置に関する情報はＳＰＳに含まれ得る。或いは、サブピクチャのシグナリングが存在する場合には、仮想境界の位置に関する情報がＰＰＳに含まれ得る。
【0160】
本文書の一実施形態において、サブピクチャＩＤのシグナリングが存在する場合（ｓｐｓ＿ｓｕｂｐｉｃ＿ｉｄ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１）、全てのサブピクチャは独立にコーディングされたサブピクチャであり得る（ｓｕｂｐｉｃ＿ｔｒｅａｔｅｄ＿ａｓ＿ｐｉｃ＿ｆｌａｇ［ｉ］の値が１）。この場合、サブピクチャＩＤのシグナリングの位置（例えば、ＳＰＳ、ＰＰＳ、又はピクチャヘッダ）は関係ない。
【0161】
前記表と共に、本文書の実施形態によると、サブピクチャの情報が存在するかどうかに基づいて仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされるかどうかが決定できる。例えば、サブピクチャの情報が当該シーケンスに対して存在する場合、仮想境界関連情報（例えば、仮想境界位置関連情報）がシーケンスパラメータセットでシグナリングされることができる。これによって、本文書の実施形態による仮想境界に基づくコーディング方法は、上位レベルシンタックスの再作成（ｒｅｗｒｉｔｔｅｎ）又は変更なしに効率的に実行されることができる。
【0162】
【0163】
図１０で開示された方法は、図２又は図１１で開示されたエンコード装置により実行されることができる。具体的に、例えば、図１０のＳ１０００及びＳ１０１０は、図１１の前記エンコード装置のレジデュアル処理部２３０により実行されることができ、図１０のＳ１０２０は、図１１の前記エンコード装置のフィルタリング部２６０により実行されることができ、図１０のＳ１０３０は、図１１の前記エンコード装置のエントロピーエンコード部２４０により実行されることができる。また、図１０で示していないが、図１０で前記エンコード装置の予測部２２０により予測サンプル又は予測関連情報を導出することができ、前記エンコード装置のエントロピーエンコード部２４０によりレジデュアル情報又は予測関連情報からビットストリームが生成できる。図１０で開示された方法は、本文書で前述した実施形態を含み得る。
【0164】
図１０を参照すると、エンコード装置はレジデュアルサンプルを導出することができる（Ｓ１０００）。エンコード装置は現在ブロックに対するレジデュアルサンプルを導出することができ、前記現在ブロックに対するレジデュアルサンプルは、現在ブロックの原本サンプル及び予測サンプルに基づいて導出できる。具体的に、エンコード装置は予測モードに基づいて前記現在ブロックの予測サンプルを導出することができる。この場合、インター予測又はイントラ予測など、本文書で開示された多様な予測方法が適用できる。前記予測サンプルと原本サンプルに基づいてレジデュアルサンプルを導出することができる。
【0165】
エンコード装置は変換係数を導出することができる。エンコード装置は、前記レジデュアルサンプルに対する変換手順に基づいて変換係数を導出することができる。例えば、変換手順は、ＤＣＴ、ＤＳＴ、ＧＢＴ、又はＣＮＴの少なくとも１つを含み得る。
【0166】
エンコード装置は量子化された変換係数を導出することができる。エンコード装置は、前記変換係数に対する量子化手順に基づいて量子化された変換係数を導出することができる。量子化された変換係数は係数スキャン順序に基づいて１次元ベクトルの形態を有し得る。
【0167】
エンコード装置はレジデュアル情報を生成することができる（Ｓ１０１０）。エンコード装置は、前記現在ブロックに対する前記レジデュアルサンプルに基づいてレジデュアル情報を生成することができる。エンコード装置は、前記量子化された変換係数を示すレジデュアル情報を生成することができる。レジデュアル情報は、指数ゴロム、ＣＡＶＬＣ、ＣＡＢＡＣなどのような多様なエンコード方法を通じて生成できる。
【0168】
エンコード装置は復元サンプルを生成することができる。エンコード装置は、前記レジデュアル情報に基づいて復元サンプルを生成することができる。復元サンプルはレジデュアル情報に基づいたレジデュアルサンプルを予測サンプルと加算して生成できる。具体的に、エンコード装置は現在ブロックに対する予測（イントラ又はインター予測）を実行し、原本サンプルと予測から生成された予測サンプルに基づいて復元サンプルを生成することができる。
【0169】
復元サンプルは、復元ルマサンプル及び復元クロマサンプルを含むことができる。具体的に、レジデュアルサンプルは、レジデュアルルマサンプル及びレジデュアルクロマサンプルを含むことができる。レジデュアルルマサンプルは、原本ルマサンプル及び予測ルマサンプルに基づいて生成できる。レジデュアルクロマサンプルは、原本クロマサンプル及び予測クロマサンプルに基づいて生成できる。エンコード装置は、前記レジデュアルルマサンプルに対する変換係数（ルマ変換係数）及び／又は前記レジデュアルクロマサンプルに対する変換係数（クロマ変換係数）を導出することができる。量子化された変換係数は、量子化されたルマ変換係数及び／又は量子化されたクロマ変換係数を含むことができる。
【0170】
エンコード装置は、現在ピクチャの復元サンプルのためのインループフィルタリング関連情報を生成することができる（Ｓ１０２０）。エンコード装置は、復元サンプルに対するインループフィルタリング手順を実行することができ、前記インループフィルタリング手順に基づいてインループフィルタリング関連情報を生成することができる。例えば、インループフィルタリング関連情報は、本文書で前述した仮想境界に関する情報（ＳＰＳの仮想境界可用フラグ、ピクチャヘッダの仮想境界可用フラグ、ＳＰＳの仮想境界存在フラグ、ピクチャヘッダの仮想境界存在フラグ、仮想境界の位置に関する情報など）を含み得る。
【0171】
エンコード装置はビデオ／映像情報をエンコードすることができる（Ｓ１０３０）。前記映像情報は、レジデュアル情報、予測関連情報及び／又はインループフィルタリング関連情報を含むことができる。エンコードされたビデオ／映像情報はビットストリームの形態で出力されることができる。前記ビットストリームはネットワーク又は格納媒体を介してデコード装置に送信されることができる。
【0172】
前記映像／ビデオ情報は、本文書の実施形態による多様な情報を含むことができる。例えば、前記映像／ビデオ情報は、前述した表１乃至１２の少なくとも１つに開示された情報を含み得る。
【0173】
一実施形態において、前記映像情報はＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。前記ＳＰＳがサブピクチャ関連情報を含むかどうかに基づいて、前記ＳＰＳが仮想境界と関連した更なる情報を含むかどうかが決定できる。
【0174】
一実施形態において、前記仮想境界と関連した更なる情報は、前記仮想境界の数と前記仮想境界の位置を含むことができる。
【0175】
一実施形態において、前記仮想境界と関連した更なる情報は、垂直の仮想境界の数に関する情報、前記垂直の仮想境界の位置に関する情報、水平の仮想境界の数に関する情報、及び前記水平の仮想境界の位置に関する情報を含み得る。
【0176】
一実施形態において、前記映像情報は、サブピクチャ存在フラグ（例えば、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含むことができる。前記サブピクチャ存在フラグに基づいて、前記ＳＰＳが前記サブピクチャ関連情報を含むかどうかが決定できる。
【0177】
一実施形態において、前記映像情報は、サブピクチャＩＤ存在フラグを含むことができる。前記サブピクチャＩＤ存在フラグの値が１であることに基づいて、前記現在ピクチャ内のサブピクチャは独立にコーディングされた（ｉｎｄｅｐｅｎｄｅｎｔｌｙ－ｃｏｄｅｄ）サブピクチャであり得る。
【0178】
一実施形態において、前記現在ピクチャはサブピクチャとタイルとを含むことができる。１つのタイル内のコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）は、同じサブピクチャに属し得る。
【0179】
一実施形態において、前記現在ピクチャはサブピクチャとタイルとを含むことができる。１つのサブピクチャ内のコーディングツリーユニット（ＣＴＵｓ）は同じタイルに属し得る。
【0180】
一実施形態において、前記ＳＰＳは、前記ＳＰＳが前記仮想境界と関連した更なる情報を含むかどうかと関連したＳＰＳの仮想境界存在フラグを含むことができる。前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記ＳＰＳの仮想境界存在フラグの値は１と決定されることができる。
【0181】
一実施形態において、前記映像情報はピクチャヘッダ情報を含むことができる。前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記仮想境界と関連した更なる情報は、前記ピクチャヘッダに含まれないことがある。
【0182】
一実施形態において、前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記ＳＰＳは、前記仮想境界と関連した更なる情報を含むことができる。
【0183】
【0184】
図１２で開示された方法は、図１２又は図１３で開示されたデコード装置により実行されることができる。具体的に、例えば、図１２のＳ１２００は、前記デコード装置のエントロピーデコード部３１０により実行されることができ、Ｓ１２１０は、前記デコード装置のレジデュアル処理部３２０及び／又は加算部３４０により実行されることができ、かつ、Ｓ１２２０は、前記デコード装置のフィルタリング部３５０により実行されることができる。図１２で開示された方法は、本文書で前述した実施形態を含むことができる。
【0185】
図１２を参照すると、デコード装置はビデオ／映像情報を受信／取得することができる（Ｓ１２００）。ビデオ／映像情報はレジデュアル情報、予測関連情報、及び／又はインループフィルタリング関連情報を含むことができる。デコード装置は、ビットストリームを介して前記映像／ビデオ情報を受信／取得することができる。
【0186】
前記映像／ビデオ情報は、本文書の実施形態による多様な情報を含むことができる。例えば、前記映像／ビデオ情報は、前述した表１乃至１２の少なくとも１つに開示された情報を含むことができる。
【0187】
デコード装置は量子化された変換係数を導出することができる。デコード装置は、前記レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトルの形態を有し得る。量子化された変換係数は、量子化されたルマ変換係数及び／又は量子化されたクロマ変換係数を含むことができる。
【0188】
デコード装置は変換係数を導出することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコード装置は、量子化されたルマ変換係数に基づいて逆量子化を介してルマ変換係数を導出することができる。デコード装置は量子化されたクロマ変換係数に基づいて逆量子化を介してクロマ変換係数を導出することができる。
【0189】
デコード装置はレジデュアルサンプルを生成／導出することができる。デコード装置は、前記変換係数に対する逆変換手順に基づいてレジデュアルサンプルを導出することができる。デコード装置は、ルマ変換係数に基づいて逆変換手順を介してレジデュアルルマサンプルを導出することができる。デコード装置は、クロマ変換係数に基づいて逆変換手順を介してレジデュアルクロマサンプルを導出することができる。
【0190】
デコード装置は復元サンプルを生成／導出することができる（Ｓ１２１０）。例えば、デコード装置は復元ルマサンプル及び／又は復元クロマサンプルを生成／導出することができる。デコード装置は、前記レジデュアル情報に基づいて復元ルマサンプル及び／又は復元クロマサンプルを生成することができる。デコード装置は、前記レジデュアル情報に基づいて復元サンプルを生成することができる。復元サンプルは、復元ルマサンプル及び／又は復元クロマサンプルを含むことができる。復元サンプルのルマ成分が復元ルマサンプルに対応し、復元サンプルのクロマ成分が復元クロマサンプルに対応し得る。デコード装置は予測手順を介して予測ルマサンプル及び／又は予測クロマサンプルを生成することができる。デコード装置は予測ルマサンプルとレジデュアルルマサンプルに基づいて復元ルマサンプルを生成することができる。デコード装置は、予測クロマサンプルとレジデュアルクロマサンプルに基づいて復元クロマサンプルを生成することができる。
【0191】
デコード装置は、修正された（フィルタリングされた）復元サンプルを生成することができる（Ｓ１２２０）。デコード装置は前記復元サンプルに対するインループフィルタリング手順に基づいて修正された復元サンプルを生成することができる。デコード装置はインループフィルタリング関連情報に基づいて修正された復元サンプルを生成することができる。デコード装置は修正された復元サンプルを生成するためにデブロッキング手順、ＳＡＯ手順、及び／又はＡＬＦ手順を用いることができる。
【0192】
一実施形態において、前記映像情報はＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。前記ＳＰＳがサブピクチャ関連情報を含むかどうかに基づいて、前記ＳＰＳが仮想境界と関連した更なる情報を含むかどうかが決定できる。
【0193】
一実施形態において、前記仮想境界と関連した更なる情報は、前記仮想境界の数と前記仮想境界の位置を含むことができる。
【0194】
一実施形態において、前記仮想境界と関連した更なる情報は、垂直の仮想境界の数に関する情報、前記垂直の仮想境界の位置に関する情報、水平の仮想境界の数に関する情報、及び前記水平の仮想境界の位置に関する情報を含むことができる。
【0195】
一実施形態において、前記映像情報は、サブピクチャ存在フラグ（例えば、ｓｕｂｐｉｃ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を含むことができる。前記サブピクチャ存在フラグに基づいて、前記ＳＰＳが前記サブピクチャ関連情報を含むかどうかが決定できる。
【0196】
一実施形態において、前記映像情報は、サブピクチャＩＤ存在フラグを含むことができる。前記サブピクチャＩＤ存在フラグの値が１であることに基づいて、前記現在ピクチャ内のサブピクチャは、独立にコーディングされた（ｉｎｄｅｐｅｎｄｅｎｔｌｙ－ｃｏｄｅｄ）サブピクチャであり得る。
【0197】
一実施形態において、前記現在ピクチャはサブピクチャとタイルとを含むことができる。１つのタイル内のコーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔｓ、ＣＴＵｓ）は同じサブピクチャに属し得る。
【0198】
一実施形態において、前記現在ピクチャはサブピクチャとタイルとを含むことができる。１つのサブピクチャ内のコーディングツリーユニット（ＣＴＵｓ）は同じタイルに属し得る。
【0199】
一実施形態において、前記ＳＰＳは、前記ＳＰＳが前記仮想境界と関連した更なる情報を含むかどうかと関連したＳＰＳの仮想境界存在フラグを含むことができる。前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記ＳＰＳの仮想境界存在フラグの値は１と決定されることができる。
【0200】
一実施形態において、前記映像情報はピクチャヘッダ情報を含むことができる。前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記仮想境界と関連した更なる情報は、前記ピクチャヘッダに含まれないことがある。
【0201】
一実施形態において、前記ＳＰＳが前記サブピクチャ関連情報を含むことに基づいて、前記ＳＰＳは前記仮想境界と関連した更なる情報を含むことができる。
【0202】
デコード装置は、現在ブロックに対するレジデュアルサンプルが存在する場合、現在ブロックに対するレジデュアルに関する情報を受信することができる。レジデュアルに関する情報は、レジデュアルサンプルに関する変換係数を含むことができる。デコード装置は、レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプル（又は、レジデュアルサンプルアレイ）を導出することができる。具体的に、デコード装置は、レジデュアル情報に基づいて量子化された変換係数を導出することができる。量子化された変換係数は、係数スキャン順序に基づいて１次元ベクトル形態を有することができる。デコード装置は、前記量子化された変換係数に対する逆量子化手順に基づいて変換係数を導出することができる。デコード装置は、変換係数に基づいてレジデュアルサンプルを導出することができる。
【0203】
デコード装置は、（イントラ）予測サンプルとレジデュアルサンプルとに基づいて復元サンプルを生成することができ、前記復元サンプルに基づいて復元ブロック又は復元ピクチャを導出することができる。具体的に、デコード装置は、（イントラ）予測サンプルとレジデュアルサンプルとの和に基づいて復元サンプルを生成することができる。以後、デコード装置は、必要によって、主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／又はＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、前述の通りである。
【0204】
例えば、デコード装置は、ビットストリーム又はエンコードされた情報をデコードし、前述した情報（又はシンタックス要素）の全部又は一部を含む映像情報を獲得することができる。また、前記ビットストリーム又はエンコードされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前述したデコード方法が行われるように引き起こすことができる。
【0205】
前述した実施形態において、方法は、一連のステップ又はブロックとしてフローチャートに基づいて説明されているが、該当実施形態は、ステップの順序に限定されるわけではなく、あるステップは、前述したところと異なるステップと異なる順序で、又は同時に発生し得る。また、当業者であれば、フローチャートに示されているステップが排他的ではなく、異なるステップが含まれるか、フローチャートの１つ又はそれ以上のステップが本文書の実施形態の範囲に影響を与えずに削除され得ることを理解することができる。
【0206】
前述した本文書の実施形態に係る方法は、ソフトウェアの形態で具現されることができ、本文書に係るエンコード装置及び／又はデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置等の映像処理を行う装置に含まれ得る。
【0207】
本文書で、実施形態がソフトウェアで具現される際、前述した方法は、前述した機能を行うモジュール（過程、機能等）で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部又は外部にあってもよく、よく知られている様々な手段でプロセッサと連結されてもよい。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／又はデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。例えば、各図面で示している機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ又はチップ上で具現されて行われ得る。この場合、具現のための情報（ｅｘ．ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）又はアルゴリズムがデジタル格納媒体に格納されることができる。
【0208】
また、本文書の実施形態が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、オーダーメイド型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、映像電話ビデオ装置、運送手段端末（ｅｘ．車両（自律走行車両含む）端末、飛行機端末、船舶端末など）及び医療用ビデオ装置等に含まれ得、ビデオ信号又はデータ信号を処理するために使用され得る。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネットアクセスＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）等を含み得る。
【0209】
また、本文書の実施形態が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取ることができる記録媒体に格納されることができる。本文書の実施形態に係るデータ構造を有するマルチメディアデータもまた、コンピュータが読み取ることができる記録媒体に格納されることができる。前記コンピュータが読み取ることができる記録媒体は、コンピュータで読み取られるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取ることができる記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学的データ格納装置を含み得る。また、前記コンピュータが読み取ることができる記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取られる記録媒体に格納されるか、有無線通信ネットワークを介して送信されることができる。
【0210】
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施形態によってコンピュータで実行されることができる。前記プログラムコードは、コンピュータによって読み取り可能なキャリア上に格納されることができる。
【0211】
図１4は、本文書に開示された実施形態が適用されることができるコンテンツストリーミングシステムの例を示す。
【0212】
図１4を参照すると、本文書の実施形態が適用されるコンテンツストリーミングシステムは、大きくエンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディアストレージ、ユーザ装置、及びマルチメディア入力装置を含むことができる。
【0213】
前記エンコードサーバは、スマートフォン、カメラ、カムコーダ等のようなマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。別の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略され得る。
【0214】
前記ビットストリームは、本文書の実施形態が適用されるエンコード方法又はビットストリームの生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信又は受信する過程で、一時的に前記ビットストリームを格納することができる。
【0215】
前記ストリーミングサーバは、ウェブサーバを介してのユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すれば、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
【0216】
前記ストリーミングサーバは、メディア格納所及び／又はエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムに受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間、格納することができる。
【0217】
前記ユーザ装置の例では、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末機、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジなどがありうる。
【0218】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
【0219】
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせられて装置として具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせられて方法として具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて装置として具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴とが組み合わせられて方法として具現されることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
