特表 2022-542855 フィルタリングを用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-10-07

(54)【発明の名称】フィルタリングを用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

(51)【国際特許分類】

   H04N 19/117 20140101AFI20220930BHJP

   H04N 19/167 20140101ALI20220930BHJP

   H04N 19/86 20140101ALI20220930BHJP

【ＦＩ】

H04N19/117

H04N19/167

H04N19/86

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022503901

(86)(22)【出願日】2020-07-20

(85)【翻訳文提出日】2022-03-04

(86)【国際出願番号】 KR2020009523

(87)【国際公開番号】W WO2021015513

(87)【国際公開日】2021-01-28

(31)【優先権主張番号】62/875,974

(32)【優先日】2019-07-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チャン ヒョン ムン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159KK03

5C159TA70

5C159TB08

5C159TC02

5C159TC33

(57)【要約】

【課題】画像符号化／復号化方法及び装置が提供される。
【解決手段】本開示による画像復号化方法は、画像復号化装置によって行われる画像復号化方法であって、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
【選択図】図１２

【特許請求の範囲】

【請求項1】

画像復号化方法によって行われる画像復号化方法であって、
前記画像復号化方法は、
現在ブロックに対する復元ブロックを誘導するステップと、
前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップと、
前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定するステップと、
決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、
前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像復号化方法。

【請求項2】

前記現在ブロックは、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）モードが適用されたブロックであることを特徴とする、請求項１に記載の画像復号化方法。

【請求項3】

前記ターゲット境界の境界タイプを決定するステップをさらに含み、
前記境界タイプは、垂直境界及び水平境界のうちのいずれか一つに決定されることを特徴とする、請求項１に記載の画像復号化方法。

【請求項4】

前記ターゲット境界が垂直境界であり、前記変換ブロックの幅が第１値以下である場合、前記フィルタ長は第１長さに決定されることを特徴とする、請求項３に記載の画像復号化方法。

【請求項5】

前記変換ブロックの幅が第２値以上である場合、前記フィルタ長は第２長さに決定されることを特徴とする、請求項４に記載の画像復号化方法。

【請求項6】

前記変換ブロックの幅が前記第１値超過、前記第２値未満である場合、前記フィルタ長は第３長さに決定されることを特徴とする、請求項５に記載の画像復号化方法。

【請求項7】

前記第１値は４であり、前記第１長さは１であることを特徴とする、請求項６に記載の画像復号化方法。

【請求項8】

前記ターゲット境界が水平境界であり、前記変換ブロックの高さが第１値以下である場合、前記フィルタ長は第１長さに決定されることを特徴とする、請求項３に記載の画像復号化方法。

【請求項9】

前記変換ブロックの高さが第２値以上である場合、前記フィルタ長は第２長さに決定されることを特徴とする、請求項８に記載の画像復号化方法。

【請求項10】

前記変換ブロックの高さが前記第１値超過、前記第２値未満である場合、前記フィルタ長は第３長さに決定されることを特徴とする、請求項９に記載の画像復号化方法。

【請求項11】

前記第１値は４であり、前記第１長さは１であることを特徴とする、請求項１０に記載の画像復号化方法。

【請求項12】

メモリと、少なくとも一つのプロセッサとを含む画像復号化装置であって、
前記少なくとも一つのプロセッサは、
現在ブロックに対する復元ブロックを誘導し、
前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導し、
前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定し、
決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用し、
前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像復号化装置。

【請求項13】

画像符号化装置によって行われる画像符号化方法であって、
前記画像復号化方法は、
現在ブロックに対する復元ブロックを誘導するステップと、
前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップと、
前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定するステップと、
決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップ、を含み、
前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像符号化方法。

【請求項14】

前記現在ブロックは、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）モードが適用されたブロックであることを特徴とする、請求項１４に記載の画像符号化方法。

【請求項15】

請求項１３に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、フィルタリングを用いて画像を符号化／復号化する方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、フィルタリングを用いて画像を符号化／復号化する方法及び装置を提供することを目的とする。

【0006】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0007】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。

【0008】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。

【0009】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。

【課題を解決するための手段】

【0010】

本開示の一態様による画像符号化／復号化方法によれば、変換ブロックのサイズが小さくなり、フィルタリングの並列処理が不可能になる状況、又は互いに異なるターゲット境界によるフィルタ長さ間の重畳が生じる状況などが発生しないので、画像符号化／復号化装置は、常にフィルタ並列処理を行うことができ、画像符号化／復号化効率を増大させることができる。

【0011】

本開示の一態様による画像復号化方法は、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップとを含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。

【0012】

本開示の画像復号化方法において、前記現在ブロックは、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）モードが適用されたブロックであることを特徴とする。

【0013】

本開示の画像復号化方法は、前記ターゲット境界の境界タイプを決定するステップをさらに含み、前記境界タイプは、垂直境界及び水平境界のうちのいずれか一つに決定されることができる。

【0014】

本開示の画像復号化方法において、前記ターゲット境界が垂直境界であり、前記変換ブロックの幅が第１値以下である場合、前記フィルタ長は第１長さに決定されることができる。

【0015】

本開示の画像復号化方法において、前記変換ブロックの幅が第２値以上である場合、前記フィルタ長は第２長さに決定されることができる。

【0016】

本開示の画像復号化方法において、前記変換ブロックの幅が前記第１値超過、前記第２値未満である場合、前記フィルタ長は第３長さに決定されることができる。

【0017】

本開示の画像復号化方法において、前記第１値は４であり、前記第１長さは１であることができる。

【0018】

本開示の画像復号化方法において、前記ターゲット境界が水平境界であり、前記変換ブロックの高さが第１値以下である場合、前記フィルタ長は第１長さに決定されることができる。

【0019】

本開示の画像復号化方法において、前記変換ブロックの高さが第２値以上である場合、前記フィルタ長は第２長さに決定されることができる。

【0020】

本開示の画像復号化方法において、前記変換ブロックの高さが前記第１値超過、前記第２値未満である場合、前記フィルタ長は第３長さに決定されることができる。

【0021】

本開示の画像復号化方法において、前記第１値は４であり、前記第１長さは１であることができる。

【0022】

本開示の他の態様による画像復号化装置は、メモリと、少なくとも一つのプロセッサとを含む画像復号化装置であって、前記少なくとも一つのプロセッサは、

【0023】

現在ブロックに対する復元ブロックを誘導し、前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導し、前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定し、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用し、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。

【0024】

本開示の別の態様による画像符号化方法は、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップ、を含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。

【0025】

本開示の画像符号化方法において、前記現在ブロックは、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）モードが適用されたブロックであり得る。

【0026】

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0027】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0028】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0029】

また、本開示によれば、フィルタリングを用いて画像を符号化／復号化する方法及び装置が提供されることができる。

【0030】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0031】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。

【0032】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。

【0033】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0034】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【図4】マルチタイプツリー構造によるブロックの分割タイプを示す図である。

【図5】本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。

【図6】デブロッキングフィルタの適用方法を説明するための図である。

【図7】デブロッキングフィルタのフィルタ強度決定方法を説明するための図である。

【図8】イントラ予測技法のうちのイントラサブパーティション（ＩＳＰ）を説明するための図である。

【図9】ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。

【図10】ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。

【図11】ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。

【図12】本開示の一実施例による画像符号化／復号化方法を説明するための図である。

【図13】本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。

【図14】本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。

【図15】本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。

【図16】本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。

【図17】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【発明を実施するための形態】

【0035】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0036】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0037】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0038】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。

【0039】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0040】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0041】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0042】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0043】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0044】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0045】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0046】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0047】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0048】

ビデオコーディングシステムの概要

【0049】

図１は本開示によるビデオコーディングシステムを示す図である。

【0050】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0051】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0052】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0053】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0054】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0055】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0056】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0057】

画像符号化装置の概要

【0058】

図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0059】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0060】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0061】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0062】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0063】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びＰｌａｎａｒモードを含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0064】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0065】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。

【0066】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0067】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0068】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0069】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0070】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0071】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0072】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0073】

一方、後述するようにピクチャ符号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0074】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0075】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0076】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0077】

画像復号化装置の概要

【0078】

図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0079】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0080】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0081】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図１の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0082】

画像復号化装置２００は、図１の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0083】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0084】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0085】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0086】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0087】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0088】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0089】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0090】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることもできる。

【0091】

一方、後述するようにピクチャ復号化過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0092】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0093】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0094】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0095】

ＣＴＵ分割の概要

【0096】

前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。

【0097】

四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。

【0098】

図４はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。

【0099】

二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図４に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さ、及び現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。

【0100】

三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図４に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）は、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ、及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ、及び現在ＣＵの幅と同じ幅を有する１つのＣＵが生成されることができる。

【0101】

図５は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。

【0102】

ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、四分木構造に初めてパーティショニングされる。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらにパーティショニングされることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらにパーティショニングされるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらにパーティショニングされる場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。

【0103】

前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。

【0104】

【表1】

【0105】

一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つのコーディングブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成されることができる。また、同一ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵとＰ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成されることができる。

【0106】

上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵはＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）がシグナリングされることにより、分割構造が決定されることができる。

【0107】

別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。

【0108】

フィルタリングの概要

【0109】

以下、本開示によるフィルタリング方法について説明する。

【0110】

本開示の幾つかの実施例によれば、画像符号化／復号化装置によって生成された復元ピクチャに対して、フィルタリングが行われることができる。フィルタリングの実行結果、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャが生成でき、画像復号化装置では、修正された復元ピクチャが最終復号化ピクチャとして決定されることができる。また、画像符号化／復号化装置では、修正された復元ピクチャが復号化ピクチャバッファ（ＤＰＢ）或いはメモリに保存され、以後、ピクチャの符号化／復号化時に参照ピクチャとして使用されることができる。

【0111】

本開示の幾つかの実施例によるフィルタリングは、インループフィルタリングと同じ意味で使用されることができる。フィルタリングに使用されるフィルタは、デブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、ＳＡＯフィルタ（ｓａｍｐｌｅ ｏｆｆｓｅｔ ｆｉｌｔｅｒ）、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、及び／又はバイラテラルフィルタ（ｂｉ－ｌａｔｅｒａｌ ｆｉｌｔｅｒ）のうちの少なくとも一つを含むことができる。上述したデブロッキングフィルタ、ＳＡＯフィルタ、ＡＬＦフィルタ及び／又はバイラテラルフィルタのうちの少なくとも一つが復元ピクチャに対して順次適用されて修正された復元ピクチャが生成されることができる。フィルタの適用順序は、画像符号化／復号化装置で予め設定されることができる。一例として、復元ピクチャに対してデブロッキングフィルタが適用された後、ＳＡＯフィルタが適用されることができる。他の例として、復元ピクチャに対してデブロッキングフィルタが適用された後、ＡＬＦフィルタが適用されることができる。本開示の幾つかの実施例によるフィルタリングは、図２のフィルタリング部１６０及び／又は図３のフィルタリング部２４０のうちの少なくとも一つによって行われることができる。

【0112】

一例として、デブロッキングフィルタは、復元ピクチャのブロック境界に生じた歪みを除去するフィルタであり得る。例えば、デブロッキングフィルタは、復元ピクチャからブロック間の境界であるターゲット境界を導出し、ターゲット境界に対するフィルタ強度（ｂｏｕｎｄａｒｙ ｓｔｒｅｎｇｔｈ又はｆｉｌｔｅｒ ｓｔｒｅｎｇｔｈ）を設定することができる。画像符号化／復号化装置は、設定されたフィルタ強度に基づいたフィルタリングをターゲット境界に適用して、ターゲット境界に対するデブロッキングフィルタリングを行うことができる。このときのフィルタ強度は、ターゲット境界に隣接する２つのブロックの予測モード、動きベクトルの差、参照ピクチャが同一であるか否か、０ではない有効係数の存否のうちの少なくとも一つに基づいて決定されることができる。

【0113】

他の例として、ＳＡＯフィルタは、サンプル単位で復元ピクチャと原本ピクチャとのオフセット差を補償するフィルタであり得る。例えば、ＳＡＯフィルタは、バンドオフセット（ｂａｎｄ ｏｆｆｓｅｔ）フィルタ又はオフセット（ｏｆｆｓｅｔ）フィルタなどのフィルタタイプに実現できる。ＳＡＯフィルタが適用される場合、ＳＡＯタイプによって、サンプルが互いに異なるカテゴリーに分類され、カテゴリーに基づいて各サンプルに対してオフセット値が加わることができる。ＳＡＯフィルタに関する情報は、ＳＡＯフィルタの適用有無に関する情報、ＳＡＯフィルタタイプ情報、及び／又はＳＡＯオフセット値情報のうちの少なくとも一つを含むことができる。一方、一例として、ＳＡＯフィルタは、デブロッキングフィルタが適用された復元ピクチャに限って適用されるように制限できる。

【0114】

別の例として、ＡＬＦフィルタは、復元ピクチャに対してフィルタ形状によるフィルタ係数を適用するサンプル単位フィルタであり得る。画像符号化装置は、復元ピクチャと原本ピクチャとを比較して、ＡＬＦフィルタの適用有無、ＡＬＦフィルタの形状及び／又はフィルタ係数のうちの少なくとも一つをシグナリングすることができる。すなわち、ＡＬＦフィルタに関する情報は、ＡＬＦフィルタの適用有無に関する情報、ＡＬＦフィルタ形状情報及び／又はＡＬＦフィルタリング係数情報のうちの少なくとも一つを含むことができる。一方、一例として、ＡＬＦフィルタは、デブロッキングフィルタが適用された復元ピクチャに限って適用されるように制限されることができる。

【0115】

図６はデブロッキングフィルタの適用方法を説明するための図である。

【0116】

上述したように、デブロッキングフィルタが復元ピクチャに適用されることができる。デブロッキングフィルタは、ピクチャの復号化／符号化順序に基づいて、現在ブロックに含まれるそれぞれのＣＵ又はＴＵの境界に対して適用されることができる。

【0117】

図６を参照すると、本開示の幾つかの実施例によるデブロッキングフィルタ適用方法は、デブロッキングフィルタリングを適用するターゲット境界を誘導するステップ（Ｓ６１０）、フィルタ強度を決定するステップ（Ｓ６２０）、及び決定されたフィルタ強度に基づいてターゲット境界に対してデブロッキングフィルタを適用するステップ（Ｓ６３０）を含むことができる。

【0118】

以下、ターゲット境界に適用されるフィルタ強度を決定するステップ（Ｓ６２０）について説明する。本開示の幾つかの実施例によれば、フィルタ強度は、ターゲット境界に隣接する変換ブロック条件に応じて決定されることができる。以下の説明において、ターゲット境界が垂直境界である場合、ターゲット境界を基準として左側ブロックをＰブロック、右側ブロックをＱブロックと定義することができる。また、ターゲット境界が水平境界である場合、ターゲット境界を基準として上側ブロックをＰブロック、下側ブロックをＱブロックと定義することができる。また、以下の説明において、フィルタ強度の第１値、第２値及び第３値はそれぞれ０、１、２を意味することができるが、このような定義に本開示の権利範囲が制限されるものではない。

【0119】

一例として、一つの輝度ＣＵに含まれるＰブロックサンプル及びＱブロックサンプルに対してＢＤＰＣＭ（ｂｌｏｃｋ ｂａｓｅｄ ｑｕａｎｔｉｚｅｄ ｒｅｓｉｄｕａｌ ｄｏｍａｉｎ ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ－ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）が適用される場合、ターゲット境界に対するフィルタ強度は、第１値に決定されることができる。他の例として、一つのＣＵに含まれるＰブロックサンプル及びＱブロックサンプルがイントラ予測される場合、ターゲット境界に対するフィルタ強度は、第３値に決定されることができる。別の例として、ターゲット境界がＴＵの境界であり、一つのＣＵに含まれるＰブロックサンプル及びＱブロックサンプルにＣＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、ターゲット境界に対するフィルタ強度は、第３値に決定されることができる。別の例として、ターゲット境界がＴＵの境界であり、一つのＴＵに含まれるＰブロックサンプル及びＱブロックサンプルのうちの少なくとも一つが０ではない変換係数レベルを有する場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。別の例として、Ｐブロックサンプルを含むＣＵのサブブロックの予測モードがＱブロックサンプルを含むＣＵのサブブロックの予測モードと異なる場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。

【0120】

別の例として、現在ブロックが輝度ブロックであり、次の条件のうちの少なくとも一つを満たす場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。一方、次の条件を全て満たさない場合、ターゲット境界に対するフィルタ強度は、第１値に決定されることができる。例えば、Ｐブロックサンプルを含むＣＵのサブブロック及びＱブロックサンプルを含むＣＵのサブブロックが全てＩＢＣモードに符号化／復号化され、各サブブロックの動きベクトルの水平値或いは垂直値の差が１．４輝度サンプル４単位以上である場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。Ｐブロックサンプルを含むＣＵのサブブロック及びＱブロックサンプルを含むＣＵのサブブロックが互いに異なる参照ピクチャを参照するか、互いに異なる数の動きベクトルを有する場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。Ｐブロックサンプルを含むＣＵのサブブロック及びＱブロックサンプルを含むＣＵのサブブロックを予測するためにそれぞれ１つの動きベクトルが用いられ、各サブブロックの動きベクトルの水平値或いは垂直値の差が１／４輝度サンプル４単位以上である場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。Ｐブロックサンプルを含むＣＵのサブブロックを予測するために２つの動きベクトル及び２つの互いに異なる参照ピクチャが用いられ、Ｑブロックサンプルを含むＣＵのサブブロックを予測するために２つの動きベクトル及び２つの同じ参照ピクチャが用いられ、同じ参照ピクチャに対する動きベクトルの水平値或いは垂直値の差が１／４輝度サンプル４単位以上である場合、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。

【0121】

Ｐブロックサンプルを含むＣＵのサブブロックを予測するために２つの動きベクトル及び２つの同じ参照ピクチャが用いられ、Ｑブロックサンプルを含むＣＵのサブブロックを予測するために２つの動きベクトル及び２つの同じ参照ピクチャが用いられる場合、次の２つの条件を満たすとき、ターゲット境界に対するフィルタ強度は、第２値に決定されることができる。第１条件は、各サブブロックのリスト０動きベクトルの水平値或いは垂直値の差が１／４輝度サンプル４単位以上であるか、各サブブロックのリスト１動きベクトルの水平値或いは垂直値の差が１／４輝度サンプル４単位以上である場合の条件を意味することができる。第２条件は、Ｐブロックサンプルを含むＣＵのサブブロックを予測するためのリスト０動きベクトル及びＱブロックサンプルを含むＣＵのサブブロックを予測するためのリスト１動きベクトルの水平値或いは垂直値の差が１／４輝度サンプル４単位以上であるか、或いはＰブロックサンプルを含むＣＵのサブブロックを予測するためのリスト１動きベクトル及びＱブロックサンプルを含むＣＵのサブブロックを予測するためのリスト０動きベクトルの水平値又は垂直値の差が１／４輝度サンプル４単位以上である場合の条件を意味することができる。

【0122】

画像符号化／復号化装置は、上述した条件に基づいてターゲット境界に対するフィルタ強度を決定することができる。一方、フィルタ強度が第１値を有する場合、ターゲット境界に対してフィルタリングが行われないことができる。本開示の幾つかの実施例によるデブロッキングフィルタは、フィルタ強度及び／又はフィルタ長（ｆｉｌｔｅｒ ｌｅｎｇｔｈ）のうちの少なくとも一つに基づいて適用されることができる。

【0123】

以下では、復元輝度サンプル値によるフィルタ強度決定方法について説明する。

【0124】

図７はデブロッキングフィルタのフィルタ強度決定方法を説明するための図である。

【0125】

本開示の幾つかの実施例において、デブロッキングフィルタは、変数βとｔＣによって決定されることができる。ここで、変数βとｔＣは、量子化パラメータｑＰ＿Ｌによって決定される値であり得る。一例として、デブロッキングフィルタのフィルタ強度は、復元された輝度サンプル値に応じて決定されるオフセットをｑＰ＿Ｌに加えて誘導されることができる。一例として、復元輝度レベルはＬＬと定義されることができ、ＬＬは次の数式１によって誘導されることができる。

【0126】

［数１］
ＬＬ＝（（ｐ＿０，０＋ｐ＿０，３＋ｑ＿０，０＋ｑ＿０，３）＞＞２）／（１＜＜ｂｉｔＤｅｐｔｈ）

【0127】

数式１のｐ＿ｉ，ｋ及びｑ＿ｉ，ｋは、図７によって決定されるＰブロック或いはＱブロックのサンプル値を意味することができる。

【0128】

一方、ｑＰ＿Ｌは、次の数式２によって誘導されることができる。

【0129】

［数２］
ｑＰ＿Ｌ＝（（Ｑ＿ｐ＿Ｑ＋Ｑ＿ｐ＿Ｐ＋１）＞＞１）＋ｑｐＯｆｆｓｅｔ

【0130】

数式２のＱ＿ｐ＿Ｑ及びＱ＿ｐ＿Ｐは、ｑ＿０，０及びｐ＿０，０を含むＣＵの量子化パラメータを意味することができ、ｑｐＯｆｆｓｅｔは、ＳＰＳレベルで伝送されるオフセット値であり得る。

【0131】

本開示の幾つかの実施例によれば、デブロッキングフィルタは、８×８領域に対して適用できる。デブロッキングフィルタは、ＣＵの境界だけでなく、ＣＵを構成するサブブロック或いは変換ブロックの境界に対しても適用できる。この場合、サブブロックは、サブブロックベースのマージモード、アフィンモード、ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ Ｐａｒｔｉｔｉｏｎｓ）モード及び／又はサブブロックベースの変換によって生成されるサブブロック或いは変換ブロックのうちの少なくとも一つを意味することができる。

【0132】

ＩＳＰモード又はサブブロックベースの変換によって生成されたサブブロックに対して、デブロッキングフィルタは、ＴＵの境界を横切る境界に０ではない係数が存在する場合に適用されることができる。一方、サブブロックベースのマージモード或いはアフィンモードによるサブブロックに対して、デブロッキングフィルタは、隣接するサブブロックの動きベクトル及び参照ピクチャに基づいて適用されることができる。

【0133】

ＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）の概要

【0134】

図８はイントラ予測技法のうちのイントラサブパーティション（ＩＳＰ）を説明するための図である。

【0135】

従来のイントラ予測は、現在符号化／復号化対象ブロック（現在ブロック）を一つのユニットとして見なして分割なしに符号化／復号化を行う。ところが、ＩＳＰが適用される場合、現在ブロックを水平方向或いは垂直方向に分割してイントラ予測符号化／復号化が行われることができる。この際、分割されたＩＳＰサブブロック単位で符号化／復号化を行って復元されたＩＳＰサブブロックが生成され、復元されたＩＳＰサブブロックは、次の分割されたＩＳＰサブブロックの参照ブロックとして使用されることができる。

【0136】

現在ブロックに対してＩＳＰモードが適用される場合、現在ブロックを水平方向又は垂直方向に分割して取得されたＩＳＰサブブロックのそれぞれに対してイントラ予測が行われることができる。すなわち、ＩＳＰサブブロック単位でイントラ予測、レジデュアル信号生成及び復元信号生成が行われ、復元されたサブパーティションの復元信号は、次のサブパーティションのイントラ予測の参照サンプルとして使用されることができる。

【0137】

画像符号化装置は、様々な方法（例えば、ＲＤＯベースの方法）でＩＳＰ分割方向を決定することができる。決定された分割方向は、ＩＳＰの分割方向に関する情報であって、ビットストリームを介して明示的にシグナリングされることができる。画像復号化装置は、シグナリングされた分割方向に関する情報に基づいて現在ブロックのＩＳＰ分割方向を決定することができる。現在ブロックのサイズ（幅又は高さ）など、現在ブロックの符号化パラメータによってＩＳＰ分割方向が暗黙的に決定される場合、画像符号化装置と画像復号化装置は、同じ方法で現在ブロックのＩＳＰ分割方向を決定することができる。

【0138】

現在ブロックを分割して取得されたＩＳＰサブブロックは、それぞれ少なくとも１６個のサンプルを含むことが要求されることができる。例えば、現在ブロックが４×４ブロックである場合、ＩＳＰが適用されないものと暗黙的に決定されることができる。また、現在ブロックが４×８ブロック又は８×４ブロックである場合、図８（ａ）に示すように、ＩＳＰが適用される現在ブロックは２つのＩＳＰサブブロックに分割されることができる。また、現在ブロックが４×４ブロック、４×８ブロック又は８×４ブロックでない場合には、図８（ｂ）に示すように、ＩＳＰが適用される現在ブロックは４つのＩＳＰサブブロックに分割されることができる。図８（ａ）及び図８（ｂ）に示された例において、ＩＳＰ分割方向が水平方向である場合、上側のＩＳＰサブブロックから下側のＩＳＰサブブロックへの順に符号化及び／又は復号化が行われることができる。また、分割方向が垂直方向である場合、左側のＩＳＰサブブロックから右側のＩＳＰサブブロックへの順に符号化及び／又は復号化が行われることができる。

【0139】

一例として、現在ブロックのサイズによるＩＳＰサブブロック或いは係数グループ（Ｃｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ）のサイズは、下記表２に基づいて決定されることができる。

【0140】

【表2】

【0141】

実施例＃１

【0142】

以下、上述したデブロッキングフィルタを用いて、画像を符号化／復号する方法について説明する。本開示の一実施例によれば、デブロッキングフィルタのフィルタ長が決定されることができる。以下の説明において、変換ブロック、Ｐブロック及び／又はＱブロックがＩＳＰモードに基づいて誘導されたサブブロックであることを例として説明するが、本開示の権利範囲はこれに限定されない。ここで、変換ブロックは、ターゲット境界に隣接するＰブロックとＱブロックのうちの少なくとも一つを指し示すことができる。また、以下の説明は、現在ブロック又は変換ブロックは輝度ブロックであることを例として説明するが、本開示の権利範囲はこれに限定されるものではない。

【0143】

本開示の一実施例によれば、Ｐブロックの幅又はＱブロックの幅が４である場合、垂直境界であるターゲット境界に適用されるＱブロックフィルタ長は１と決定されることができる。これに対し、Ｑブロックの幅が３２以上である場合、ターゲット境界に適用されるＱブロックフィルタ長は７と決定されることができる。その他の場合には、ターゲット境界に適用されるＱブロックフィルタ長は３と決定されることができる。

【0144】

一方、Ｐブロックの幅又はＱブロックの幅が４である場合、垂直境界であるターゲット境界に適用されるＰブロックフィルタ長は１と決定されることができる。これに対し、Ｐブロックの幅が３２以上である場合、ターゲット境界に適用されるＰブロックフィルタ長は７と決定されることができる。その他の場合には、ターゲット境界に適用されるＰブロックフィルタ長は３と決定されることができる。

【0145】

一方、Ｐブロックの高さ又はＱブロックの高さが４である場合、水平境界であるターゲット境界に適用されるＱブロックフィルタ長は１と決定されることができる。これに対し、Ｑブロックの高さが３２以上である場合、ターゲット境界に適用されるフィルタ長は７と決定されることができる。その他の場合には、ターゲット境界に適用されるＱブロックフィルタ長は３と決定されることができる。

【0146】

一方、Ｐブロックの高さ又はＱブロックの高さが４である場合、水平境界であるターゲット境界に適用されるＰブロックフィルタ長は１と決定されることができる。これに対し、Ｐブロックの高さが３２以上である場合、ターゲット境界に適用されるフィルタ長は７と決定されることができる。その他の場合には、ターゲット境界に適用されるＰブロックフィルタ長は３と決定されることができる。

【0147】

本開示の一実施例によれば、変換ブロックの幅又はサイズが、予め設定された値以下である場合には、フィルタの並列化が実行できないという問題点が発生するおそれがある。以下、上述した実施例において発生し得るデブロッキングフィルタの問題点について詳細に説明する。

【0148】

図９～図１１はターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。

【0149】

図９～図１１は、１６×１６のブロックが４つの４×１６ブロックに分割され、２番目及び４番目の４×１６ブロックがＩＳＰモードによってそれぞれ２つの２×１６及び４つの１×１６のサブブロックに分割された様子を示す。

【0150】

図９を参照すると、１番目のフィルタ境界に対しては、Ｐブロックフィルタ長が１と決定され、Ｑブロックフィルタ境界が３と決定されることができる。図１０を参照すると、２番目のフィルタ境界に対してＰブロックフィルタ長が３と決定され、Ｑブロックフィルタ長が１と決定されることができる。図１１を参照すると、３番目のフィルタ境界に対してＱブロックフィルタ長が３と決定され、４番目のフィルタ境界に対してＰブロックフィルタ長が３と決定されることができる。

【0151】

図１０と図１１の場合、サブブロックの幅が４より小さいにも拘らず、当該ブロックがＰブロックである場合のフィルタ長とＱブロックである場合のフィルタ長との和が４を超えるので、両境界によって適用されるフィルタリング間の重畳が発生する可能性がある。このようなフィルタ長の重畳によってフィルタリングに対する並列処理が実行できないという問題点が生じるおそれがある。以下では、かかる問題点を解決する方法について詳細に説明する。

【0152】

特に、現在ブロックに対してＩＳＰモードが適用される場合、イントラ予測結果として発生した変換ブロックが、従来で定義した最大変換ブロックのサイズよりも小さいサイズを有する場合が生じることがある。すなわち、本開示の幾つかの実施例によれば、ＩＳＰモードが適用されたブロックに対しても、フィルタリングに対する並列処理が実行できる。

【0153】

図１２は本開示の一実施例による画像復号化方法を説明するための図である。

【0154】

図１２を参照すると、本開示の一実施例による画像符号化／復号化方法は、現在ブロックに対する復元ブロックを誘導するステップ（Ｓ１２１０）、復元ブロックに対するターゲット境界（ｔａｒｇｅｔ ｂｏｕｎｄａｒｙ）を誘導するステップ（Ｓ１２２０）、ターゲット境界に適用されるデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のフィルタ長を決定するステップ（Ｓ１２３０）、及び／又は決定されたフィルタ長に基づいてデブロッキングフィルタを適用するステップ（Ｓ１２４０）を含むことができる。

【0155】

この場合、フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。

【0156】

実施例＃２

【0157】

本開示の他の一実施例によれば、変換ブロックの幅又は高さが所定の条件を満たす場合、これを考慮して、ターゲット境界に適用されるフィルタ長が決定されることができる。

【0158】

一例として、変換ブロックの幅又は高さが最小変換ブロックのサイズよりも小さい場合、ターゲット境界に適用されるフィルタ長は、予め設定された値に決定されることができる。例えば、変換ブロックの幅又は高さが４より小さい場合、ターゲット境界に適用されるフィルタ長は１と決定されることができる。

【0159】

図１３及び図１４は本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。

【0160】

図１３は、図１０の実施例による問題点を解決したデブロッキングフィルタ長の決定方法を示す。変換ブロックの幅又は高さが４以下である場合、ターゲット境界のフィルタ長は１と決定されることができる。図１３を参照すると、２×１６のサブブロックの幅は４以下であるので、１番目のターゲット境界のＱブロックフィルタ長及び２番目のターゲット境界のＰブロックフィルタ長はいずれも１と決定されることができる。これにより、１番目のターゲット境界のＱブロックフィルタと２番目のターゲット境界のＰブロックフィルタとの重畳が発生しないことができる。

【0161】

図１４は図１１の実施例による問題点を解決したデブロッキングフィルタ長の決定方法を示す。図１３を参照すると、１×１６のＩＳＰサブブロックの幅は４以下であるので、１番目のターゲット境界のＱブロックフィルタ長及び２番目のターゲット境界のＰブロックフィルタ長はいずれも１と決定されることができる。これにより、３番目のターゲット境界のＱブロックフィルタ及び４番目のターゲット境界のＰブロックフィルタとの重畳が発生しないことができる。

【0162】

図１５及び図１６は本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。

【0163】

図１５を参照すると、まず、誘導されたターゲット境界が垂直境界であるか或いは水平境界であるかが判断できる（Ｓ１５１０）。ターゲット境界が水平境界である場合（Ｓ１５１０－Ｎ）、水平境界のフィルタ長誘導プロセス（Ｓ１５２５）が行われることができる。水平境界のフィルタ長誘導プロセスについては、図１６を参照して説明する。

【0164】

一例として、画像符号化／復号化装置は、Ｑブロックフィルタ長を先に決定することができる。ターゲット境界が垂直境界である場合（Ｓ１５１０－Ｙ）、Ｐブロックの幅又はＱブロックの幅のうちの少なくとも一つが第１値以下であるか否かが判断できる（Ｓ１５２０）。Ｐブロックの幅又はＱブロックの幅のうちの少なくとも一つが第１値以下である場合（Ｓ１５２０－Ｙ）、ターゲット境界に対するＱブロックフィルタ長は第１長さに決定されることができる（Ｓ１５２１）。一方、Ｐブロックの幅及びＱブロックの幅が第１値を超える場合（Ｓ１５２０－Ｎ）、Ｑブロックの幅が第２値以上であるか否かが判断できる（Ｓ１５３０）。Ｑブロックの幅が第２値以上である場合（Ｓ１５３０－Ｙ）、ターゲット境界に対するＱブロックフィルタ長は第２長さに決定されることができる（Ｓ１５３１）。一方、Ｑブロックの幅が第１値超過、第２値未満である場合（Ｓ１５３０－Ｎ）、ターゲット境界に対するＱブロックフィルタ長は第３長さに決定されることができる（Ｓ１５３２）。

【0165】

次に、画像符号化／復号化装置は、Ｐブロックフィルタ長を決定することができる。Ｑブロックフィルタ長の決定後、Ｐブロックの幅又はＱブロックの幅のうちの少なくとも一つが第１値以下であるか否かが判断できる（Ｓ１５４０）。Ｐブロックの幅又はＱブロックの幅のうちの少なくとも一つが第１値以下である場合（Ｓ１５４０－Ｙ）、ターゲット境界に対するＰブロックフィルタ長は第１長さに決定されることができる（Ｓ１５４１）。一方、Ｐブロックの幅及びＱブロックの幅が第１値を超える場合（Ｓ１５４０－Ｎ）、Ｐブロックの幅が第２値以上であるか否かが判断できる（Ｓ１５５０）。Ｐブロックの幅が第２値以上である場合（Ｓ１５５０－Ｙ）、ターゲット境界に対するＰブロックフィルタ長は第２長さに決定されることができる（Ｓ１５５１）。一方、Ｐブロックの幅が第１値超過、第２値未満である場合（Ｓ１５５０－Ｎ）、ターゲット境界に対するＰブロックフィルタ長は第３長さに決定されることができる（Ｓ１５５２）。

【0166】

一例として、上述した第１値及び第２値は、それぞれ４及び３２であり得る。また、第１長さ、第２長さ及び第３長さはそれぞれ１、７、３の値を持つことができるが、これは例示に過ぎず、これに限定されるものではない。また、上述した例示では、Ｑブロックフィルタ長を先に誘導し、Ｐブロックフィルタ長を誘導する実施例について説明したが、これは例示に過ぎず、Ｑブロックフィルタ長の誘導後にＰブロックフィルタ長を誘導する実施例や、Ｑブロックフィルタ長とＰブロックフィルタ長を同時に誘導する実施例も、本開示の権利範囲に含まれることができる。

【0167】

図１６を参照すると、まず、誘導されたターゲット境界が垂直境界であるか或いは水平境界であるかが判断できる（Ｓ１６１０）。図１６のＳ１６２０～Ｓ１６５１は、図１５のＳ１５２５を詳細に説明したものであり得る。また、図１６のＳ１６１０と図１５のＳ１５１０は同じ構成を示すものであり得る。

【0168】

一例として、画像符号化／復号化装置は、Ｑブロックフィルタ長を先に決定することができる。ターゲット境界が水平境界である場合（Ｓ１６１０－Ｙ）、Ｐブロックの高さ又はＱブロックの高さのうちの少なくとも一つが第１値以下であるか否かが判断できる（Ｓ１６２０）。Ｐブロックの幅又はＱブロックの幅のうちの少なくとも一つが第１値以下である場合（Ｓ１６２０－Ｙ）、ターゲット境界に対するＱブロックフィルタ長は第１長さに決定されることができる（Ｓ１６２１）。一方、Ｐブロックの高さ及びＱブロックの高さが第１値を超える場合（Ｓ１６２０－Ｎ）、Ｑブロックの高さが第２値以上であるか否かが判断できる（Ｓ１６３０）。Ｑブロックの高さが第２値以上である場合（Ｓ１６３０－Ｙ）、ターゲット境界に対するＱブロックフィルタ長は第２長さに決定されることができる（Ｓ１６３１）。一方、Ｑブロックの高さが第１値超過、第２値未満である場合（Ｓ１５３０－Ｎ）、ターゲット境界に対するＱブロックフィルタ長は、第３長さに決定されることができる（Ｓ１５３２）。

【0169】

次に、画像符号化／復号化装置は、Ｐブロックフィルタ長を決定することができる。Ｑブロックフィルタ長の決定後、Ｐブロックの高さ又はＱブロックの高さのうちの少なくとも一つが第１値以下であるか否かが判断できる（Ｓ１６４０）。Ｐブロックの高さ又はＱブロックの高さのうちの少なくとも一つが第１値以下である場合（Ｓ１６４０－Ｙ）、ターゲット境界に対するＰブロックフィルタ長は第１長さに決定されることができる（Ｓ１６４１）。一方、Ｐブロックの高さ及びＱブロックの高さが第１値を超える場合（Ｓ１６４０－Ｎ）、Ｐブロックの高さが第２値以上であるか否かが判断できる（Ｓ１６５０）。Ｐブロックの高さが第２値以上である場合（Ｓ１６５０－Ｙ）、ターゲット境界に対するＰブロックフィルタ長は第２長さに決定されることができる（Ｓ１６５１）。一方、Ｐブロックの高さが第１値超過、第２値未満である場合（Ｓ１６５０－Ｎ）、ターゲット境界に対するＰブロックフィルタ長は第３長さに決定されることができる（Ｓ１６５２）。

【0170】

一例として、上述した第１値及び第２値はそれぞれ４及び３２であり得る。また、第１長さ、第２長さ及び第３長さはそれぞれ１、７及び３の値を持つことができるが、これは例示に過ぎず、これに限定されるものではない。また、上述した例示では、Ｑブロックフィルタ長を先に誘導し、Ｐブロックフィルタ長を誘導する実施例を説明したが、これは例示に過ぎず、Ｑブロックフィルタ長の誘導後にＰブロックフィルタ長を誘導する実施例や、Ｑブロックフィルタ長とＰブロックフィルタ長を同時に誘導する実施例も、本開示の権利範囲に含まれることができる。

【0171】

本実施例によれば、変換ブロックのサイズが小さくなり（例えば、ＩＳＰモードが適用されて生成されたサブブロックの場合）、デブロッキングフィルタの並列処理が不可能になる状況、又は互いに異なるターゲット境界によるフィルタ間の重畳が生じる状況などが発生しないので、画像符号化／復号化装置は、常にフィルタ並列処理を行うことができ、画像符号化／復号化効率を増大させることができる。

【0172】

本明細書において、並列化或いは並列処理が行われるというのは、画像符号化／復号化装置が常に並列処理を行うことを意味するものではない。並列処理が支援される場合でも、画像符号化／復号化装置のハードウェア性能、サービスタイプ及びサービス品質を考慮して、並列処理を行うか否かが決定されることができる。例えば、画像符号化／復号化装置が多重プロセッサを用いて実現される場合、本開示による実施例を介してデブロッキングフィルタの並列処理が行われることができる。一方、画像符号化／復号化装置が単一プロセッサを用いて実現される場合には、上述した実施例を適用せず、順次ターゲット境界に対してデブロッキングフィルタが適用できる。

【0173】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。

【0174】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0175】

本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。

【0176】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0177】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0178】

図１７は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0179】

図１７に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0180】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0181】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0182】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0183】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0184】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0185】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0186】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0187】

本開示による実施例は、画像を符号化／復号化するために利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【手続補正書】

【提出日】2022-03-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
復元ピクチャ内のデブロッキングフィルタのターゲット境界を導出するステップと、
前記ターゲット境界に対する前記デブロッキングフィルタの最大長を決定するステップと、
前記最大長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、
前記ターゲット境界が垂直境界であることに基づいて、前記最大長は、前記ターゲット境界の左側に隣接する第１ブロック又は前記ターゲット境界の右側に隣接する第２ブロックの少なくとも一つの幅に基づいて決定され、
前記ターゲット境界が水平境界であることに基づいて、前記最大長は、前記ターゲット境界の上側に隣接する第３ブロック又は前記ターゲット境界の下側に隣接する第４ブロックの少なくとも一つの高さに基づいて決定される、画像復号化方法。

【請求項2】

前記第１ブロックから前記第４ブロックは、イントラサブパーティション（ＩＳＰ）モードに基づくサブブロックであり、
前記最大長は、前記第１ブロック若しくは前記第２ブロックの幅、又は前記第３ブロック若しくは前記第４ブロックの高さ以下となるよう決定される、請求項１に記載の画像復号化方法。

【請求項3】

前記最大長は、前記第１ブロックの側の第１最大長及び前記第２ブロックの側の第２最大長を含む、請求項１に記載の画像復号化方法。

【請求項4】

前記第１ブロック又は前記第２ブロックの少なくとも一つの幅が４以下であることに基づいて、前記第１最大長及び前記第２最大長の各々は１に決定される、請求項３に記載の画像復号化方法。

【請求項5】

前記第１ブロックの幅が３２以上であることに基づいて、前記第１最大長は７に決定され、
前記第２ブロックの幅が３２以上であることに基づいて、前記第２最大長は７に決定される、請求項３に記載の画像復号化方法。

【請求項6】

前記第１ブロックの幅が３２未満であることに基づいて、前記第１最大長は３に決定され、
前記第２ブロックの幅が３２未満であることに基づいて、前記第２最大長は３に決定される、請求項３に記載の画像復号化方法。

【請求項7】

前記最大長は、前記第３ブロックの側の第３最大長及び前記第４ブロックの側の第４最大長を含む、請求項１に記載の画像復号化方法。

【請求項8】

前記第３ブロック又は前記第４ブロックの少なくとも一つの高さが４以下であることに基づいて、前記第３最大長及び前記第４最大長の各々は１に決定される、請求項７に記載の画像復号化方法。

【請求項9】

前記第３ブロックの高さが３２以上であることに基づいて、前記第３最大長は７に決定され、
前記第４ブロックの高さが３２以上であることに基づいて、前記第４最大長は７に決定される、請求項７に記載の画像復号化方法。

【請求項10】

前記第３ブロックの高さが３２未満であることに基づいて、前記第３最大長は３に決定され、
前記第４ブロックの高さが３２未満であることに基づいて、前記第４最大長は３に決定される、請求項７に記載の画像復号化方法。

【請求項11】

メモリと、少なくとも一つのプロセッサとを含む画像復号化装置であって、
前記少なくとも一つのプロセッサは、
復元ピクチャ内のデブロッキングフィルタのターゲット境界を導出し、
前記ターゲット境界に対する前記デブロッキングフィルタの最大長を決定し、
前記最大長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するよう構成され、
前記ターゲット境界が垂直境界であることに基づいて、前記最大長は、前記ターゲット境界の左側に隣接する第１ブロック又は前記ターゲット境界の右側に隣接する第２ブロックの少なくとも一つの幅に基づいて決定され、
前記ターゲット境界が水平境界であることに基づいて、前記最大長は、前記ターゲット境界の上側に隣接する第３ブロック又は前記ターゲット境界の下側に隣接する第４ブロックの少なくとも一つの高さに基づいて決定される、画像復号化装置。

【請求項12】

画像符号化装置によって行われる画像符号化方法であって、
復元ピクチャ内のデブロッキングフィルタのターゲット境界を導出するステップと、
前記ターゲット境界に対する前記デブロッキングフィルタの最大長を決定するステップと、
前記最大長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、
前記ターゲット境界が垂直境界であることに基づいて、前記最大長は、前記ターゲット境界の左側に隣接する第１ブロック又は前記ターゲット境界の右側に隣接する第２ブロックの少なくとも一つの幅に基づいて決定され、
前記ターゲット境界が水平境界であることに基づいて、前記最大長は、前記ターゲット境界の上側に隣接する第３ブロック又は前記ターゲット境界の下側に隣接する第４ブロックの少なくとも一つの高さに基づいて決定される、画像符号化方法。

【請求項13】

前記第１ブロックから前記第４ブロックは、イントラサブパーティション（ＩＳＰ）モードに基づくサブブロックであり、
前記最大長は、前記第１ブロック若しくは前記第２ブロックの幅、又は前記第３ブロック若しくは前記第４ブロックの高さ以下となるよう決定される、請求項１２に記載の画像符号化方法。

【請求項14】

前記最大長は、前記幅又は前記高さと所定のしきい値との比較を行うことにより決定され、
前記比較のターゲットブロックの数は、前記所定のしきい値に基づいて、１又は２に決定される、請求項１２に記載の画像符号化方法。

【請求項15】

画像符号化方法により生成されるビットストリームを送信する方法であって、
前記画像符号化方法は、
復元ピクチャ内のデブロッキングフィルタのターゲット境界を導出するステップと、
前記ターゲット境界に対する前記デブロッキングフィルタの最大長を決定するステップと、
前記最大長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、
前記ターゲット境界が垂直境界であることに基づいて、前記最大長は、前記ターゲット境界の左側に隣接する第１ブロック又は前記ターゲット境界の右側に隣接する第２ブロックの少なくとも一つの幅に基づいて決定され、
前記ターゲット境界が水平境界であることに基づいて、前記最大長は、前記ターゲット境界の上側に隣接する第３ブロック又は前記ターゲット境界の下側に隣接する第４ブロックの少なくとも一つの高さに基づいて決定される、ビットストリーム送信方法。

【国際調査報告】