特表 2024-528452 非分離一次変換に基づく画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-30

(54)【発明の名称】非分離一次変換に基づく画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体

(51)【国際特許分類】

   H04N 19/12 20140101AFI20240723BHJP

   H04N 19/132 20140101ALI20240723BHJP

   H04N 19/136 20140101ALI20240723BHJP

【ＦＩ】

H04N19/12

H04N19/132

H04N19/136

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023578949

(86)(22)【出願日】2022-07-06

(85)【翻訳文提出日】2023-12-21

(86)【国際出願番号】 KR2022009768

(87)【国際公開番号】W WO2023282625

(87)【国際公開日】2023-01-12

(31)【優先権主張番号】63/218,508

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/229,473

(32)【優先日】2021-08-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｂｌｕ－ｒａｙ

(71)【出願人】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

【氏名又は名称原語表記】ＬＧ ＥＬＥＣＴＲＯＮＩＣＳ ＩＮＣ．

【住所又は居所原語表記】１２８， Ｙｅｏｕｉ－ｄａｅｒｏ， Ｙｅｏｎｇｄｅｕｎｇｐｏ－ｇｕ， ０７３３６ Ｓｅｏｕｌ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100159259

【弁理士】

【氏名又は名称】竹本 実

(72)【発明者】

【氏名】チェ チョンア

(72)【発明者】

【氏名】チャオ チエ

(72)【発明者】

【氏名】ク ムンモ

(72)【発明者】

【氏名】イム チェヒョン

(72)【発明者】

【氏名】チェ チャンウォン

(72)【発明者】

【氏名】キム スンファン

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159TA37

5C159TA49

5C159TB08

5C159TC26

(57)【要約】

画像符号化／復号化方法及び装置が提供される。本開示による画像復号化方法は、所定の非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成するステップと、前記レジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記非分離一次変換行列は、前記現在ブロックのサイズを問わず、前記現在ブロックの全ての変換係数に対して適用されることができる。
【選択図】図２６

【特許請求の範囲】

【請求項1】

画像復号化装置によって行われる画像復号化方法であって、
前記画像復号化方法は、
所定の非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成するステップと、
前記レジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、
前記非分離一次変換行列は、前記現在ブロックのサイズを問わず、前記現在ブロックの全ての変換係数に対して適用される、画像復号化方法。

【請求項2】

前記逆変換は、多重変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づいて行われる、請求項１に記載の画像復号化方法。

【請求項3】

前記レジデュアルブロックに対するゼロアウト（ｚｅｒｏ ｏｕｔ）は、前記非分離一次変換行列のサイズに基づいて選択的に行われる、請求項１に記載の画像復号化方法。

【請求項4】

前記非分離一次変換行列が正方形のサイズを有することに基づいて、前記ゼロアウトは行われず、
前記非分離一次変換行列が非正方形のサイズを有することに基づいて、前記ゼロアウトは、前記レジデュアルブロック内の少なくとも一つのレジデュアルサンプルに対して行われる、請求項１に記載の画像復号化方法。

【請求項5】

前記非分離一次変換行列は、所定の非分離変換セットから決定され、
前記非分離変換セットは、前記現在ブロックの予測モード、サイズ、ピクセル数、変換セット構成情報、二次逆変換が実行されるか否か、又は量子化パラメータのうちの少なくとも一つに基づいて異なるように構成される、請求項１に記載の画像復号化方法。

【請求項6】

前記現在ブロックが所定のサブブロック逆変換条件を満たすか否かを決定するステップと、
前記サブブロック逆変換条件が満たされることに基づいて、前記現在ブロックを分割して複数のサブブロックを取得するステップと、
前記複数のサブブロックのそれぞれに対して前記逆変換を行うステップと、をさらに含む、請求項１に記載の画像復号化方法。

【請求項7】

前記サブブロック逆変換条件は、
前記現在ブロックのサイズが第１しきい値より大きいか否かに関する第１条件、及び前記現在ブロックのサイズが第２しきい値より大きいか否かに関する第２条件を含む、請求項６に記載の画像復号化方法。

【請求項8】

前記非分離一次変換行列は、イントラ予測モード及びブロック形態のうちの少なくとも一つにおいて前記現在ブロックとは対称性を有する第１ブロックに対する変換行列と同一である、請求項１に記載の画像復号化方法。

【請求項9】

メモリ及び少なくとも一つのプロセッサを含む画像復号化装置であって、
前記少なくとも一つのプロセッサは、
非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成し、
前記レジデュアルブロックに基づいて前記現在ブロックを復元し、
前記非分離一次変換行列は、前記現在ブロックのサイズを問わずに、前記現在ブロックの全ての変換係数に対して適用される、画像復号化装置。

【請求項10】

画像符号化装置によって行われる画像符号化方法であって、
前記画像符号化方法は、
所定の非分離一次変換行列に基づいて現在ブロックに対して変換を行うことにより、前記現在ブロックの変換係数ブロックを生成するステップと、
前記変換係数ブロックに基づいて前記現在ブロックを符号化するステップと、を含み、
前記非分離一次変換行列は、前記現在ブロックのサイズを問わずに、前記現在ブロックの全てのレジデュアルサンプルに対して適用される、画像符号化方法。

【請求項11】

前記変換が多重変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づいて行われる、請求項１０に記載の画像符号化方法。

【請求項12】

前記変換係数ブロックに対するゼロアウト（ｚｅｒｏ ｏｕｔ）は、前記非分離一次変換行列のサイズに基づいて選択的に行われる、請求項１０に記載の画像符号化方法。

【請求項13】

前記非分離一次変換行列は、所定の非分離変換セットから決定され、
前記非分離変換セットは、前記現在ブロックの予測モード、サイズ、ピクセル数、変換セット構成情報、二次変換が実行されるか否か、又は量子化パラメータのうちの少なくとも一つに基づいて異なるように構成される、請求項１０に記載の画像符号化方法。

【請求項14】

前記現在ブロックが所定のサブブロック変換条件を満たすか否かを決定するステップと、
前記サブブロック変換条件が満たされることに基づいて、前記現在ブロックを分割して複数のサブブロックを取得するステップと、
前記複数のサブブロックのそれぞれに対して前記変換を行うステップと、をさらに含む、請求項１０に記載の画像符号化方法。

【請求項15】

画像符号化方法によって生成されたビットストリームを保存するコンピュータ可読記録媒体であって、
前記画像符号化方法は、
所定の非分離一次変換行列に基づいて現在ブロックに対して変換を行うことにより、前記現在ブロックの変換係数ブロックを生成するステップと、
前記変換係数ブロックに基づいて前記現在ブロックを符号化するステップと、を含み、
前記非分離一次変換行列は、前記現在ブロックのサイズを問わずに、前記現在ブロックの全てのレジデュアルサンプルに対して適用される、コンピュータ可読記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像符号化／復号化方法、装置、及びビットストリームを保存する記録媒体に係り、より詳細には、非分離一次変換に基づく画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを保存する記録媒体に関する。

【背景技術】

【0002】

最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。

【0003】

これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。

【0005】

また、本開示は、非分離一次変換を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0006】

また、本開示は、ＭＴＳスキームに基づいて非分離一次変換を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0007】

また、本開示は、サブブロック基盤の非分離一次変換を行う画像符号化／復号化方法及び装置を提供することを目的とする。

【0008】

また、本開示は、ブロック間の対称性に基づいて非分離一次変換を行う符号化／復号化方法及び装置を提供することを目的とする。

【0009】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存する、非一時的なコンピュータ可読記録媒体を提供することを目的とする。

【0010】

また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に用いられるビットストリームを保存する、非一時的なコンピュータ可読記録媒体を提供することを目的とする。

【0011】

また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。

【0012】

本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【課題を解決するための手段】

【0013】

本開示の一態様による画像復号化方法は、所定の非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成するステップと、前記レジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記非分離一次変換行列は、前記現在ブロックのサイズを問わず、前記現在ブロックの全ての変換係数に対して適用できる。

【0014】

本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成し、前記レジデュアルブロックに基づいて前記現在ブロックを復元するが、前記非分離一次変換行列は、前記現在ブロックのサイズを問わず、前記現在ブロックの全ての変換係数に対して適用できる。

【0015】

本開示の別の態様による画像符号化方法は、所定の非分離一次変換行列に基づいて現在ブロックに対して変換を行うことにより、前記現在ブロックの変換係数ブロックを生成するステップと、前記変換係数ブロックに基づいて前記現在ブロックを符号化するステップと、を含み、前記非分離一次変換行列は、前記現在ブロックのサイズを問わず、前記現在ブロックの全てのレジデュアルサンプルに対して適用できる。

【0016】

本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。

【0017】

本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。

【0018】

本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。

【発明の効果】

【0019】

本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。

【0020】

また、本開示によれば、非分離一次変換を行う画像符号化／復号化方法及び装置が提供されることができる。

【0021】

また、本開示によれば、ＭＴＳスキームに基づいて非分離一次変換を行う画像符号化／復号化方法及び装置が提供されることができる。

【0022】

また、本開示によれば、サブブロック基盤の非分離一次変換を行う画像符号化／復号化方法及び装置が提供されることができる。

【0023】

また、本開示によれば、ブロック間の対称性に基づいて非分離一次変換を行う画像符号化／復号化方法及び装置が提供されることができる。

【0024】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存する、非一時的なコンピュータ可読記録媒体が提供されることができる。

【0025】

また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に用いられるビットストリームを保存する、非一時的なコンピュータ可読記録媒体が提供されることができる。

【0026】

また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。

【0027】

本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。

【図面の簡単な説明】

【0028】

【図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0029】

【図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0030】

【図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0031】

【図4】ＬＦＮＳＴ適用方法を説明するための図である。

【0032】

【図5】ＡＭＴが行われる符号化過程を示すフローチャートである。

【0033】

【図6】ＡＭＴが行われる復号化過程を示すフローチャートである。

【0034】

【図7】ＮＳＳＴが行われる符号化過程を示すフローチャートである。

【0035】

【図8】ＮＳＳＴが行われる復号化過程を示すフローチャートである。

【0036】

【図9-10】ＮＳＳＴ実行方法を説明するための図である。

【0037】

【図11-12】ＲＳＴ実行方法を説明するための図である。

【0038】

【図13】本開示の一実施例による変換及び逆変換過程を説明するための図である。

【0039】

【図14a-14d】非分離二次変換過程を説明するための図である。

【0040】

【図15a-15d】本開示の一実施例による非分離一次変換過程を説明するための図である。

【0041】

【図16a-16d】本開示の他の実施例による非分離一次変換過程を説明するための図である。

【0042】

【図17】本開示の一実施例による変換方法を示すフローチャートである。

【0043】

【図18】本開示の一実施例による逆変換方法を示すフローチャートである

【0044】

【図19】本開示の一実施例によるサブブロック非分離一次変換／逆変換方法を示すフローチャートである。

【0045】

【図20a-20b】サブブロック基盤の非分離一次変換過程を説明するための図である。

【0046】

【図21-24】本開示の一実施例による非分離一次変換セット決定方法を説明するための図である。

【0047】

【図25】本開示の一実施例による画像符号化方法を示すフローチャートである。

【0048】

【図26】本開示の一実施例による画像復号化方法を示すフローチャートである。

【0049】

【図27】本開示による実施例が適用できるコンテンツストリーミングシステムを例示的に示す図である。

【発明を実施するための形態】

【0050】

以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。

【0051】

本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。

【0052】

本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。

【0053】

本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素を他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を他の実施例で第１構成要素と呼んでもよい。

【0054】

本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。

【0055】

本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。

【0056】

本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。

【0057】

本開示において、「ビデオ（ｖｉｄｅｏ）」は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。

【0058】

本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。

【0059】

本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルーマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。

【0060】

本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。

【0061】

本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。

【0062】

また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルーマ成分ブロックとクロマ成分ブロックを全て含むブロック又は「現在ブロックのルーマブロック」を意味することができる。現在ブロックのルーマ成分ブロックは、明示的に「ルーマブロック」又は「現在ルーマブロック」のようにルーマ成分ブロックという明示的な記載を含んで表現できる。また、現在ブロックのクロマ成分ブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマ成分ブロックという明示的な記載を含んで表現できる。

【0063】

本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。

【0064】

本開示において、「又は」は「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。

【0065】

本開示において、「少なくとも一つのＡ、Ｂ及びＣ」は、「Ａのみ」、「Ｂのみ」、「Ｃのみ」又は「Ａ、Ｂ及びＣの任意の全ての組み合わせ」を意味することができる。また、「少なくとも一つのＡ、Ｂ又はＣ」又は「少なくとも一つのＡ、Ｂ及び／又はＣ」は、「少なくとも一つのＡ、Ｂ及びＣ」を意味することができる。

【0066】

本開示で使用される括弧は、「例えば」を意味することができる。例えば、「予測（イントラ予測）」で表示された場合、「予測」の一例として「イントラ予測」が提案されたものであり得る。他に表現すれば、本開示の「予測」は、「イントラ予測」に制限されず、「イントラ予測」が「予測」の一例として提案されたものであり得る。また、「予測（すなわち、イントラ予測）」で表示された場合にも、「予測」の一例として「イントラ予測」が提案されたものであり得る。

【0067】

ビデオコーディングシステムの概要

【0068】

図１は、本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。

【0069】

一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。

【0070】

一実施例による符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。

【0071】

ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。

【0072】

符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。

【0073】

伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。

【0074】

復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。

【0075】

レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。

【0076】

画像符号化装置の概要

【0077】

図２は、本開示による実施例が適用できる画像符号化装置を概略的に示す図である。

【0078】

図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。

【0079】

画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。

【0080】

画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。

【0081】

予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0082】

イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。

【0083】

インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。

【0084】

予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点で、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。

【0085】

予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。

【0086】

変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。

【0087】

量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を一次元ベクトル形式で再整列することができ、前記一次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。

【0088】

エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。

【0089】

前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。

【0090】

量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。

【0091】

加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。

【0092】

一方、ピクチャ符号化及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。

【0093】

フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。

【0094】

メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。

【0095】

メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。

【0096】

画像復号化装置の概要

【0097】

図３は、本開示による実施例が適用できる画像復号化装置を概略的に示す図である。

【0098】

図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。

【0099】

画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。

【0100】

ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。

【0101】

画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。

【0102】

一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。

【0103】

逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を二次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。

【0104】

逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。

【0105】

予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。

【0106】

予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。

【0107】

イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。

【0108】

インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。

【0109】

加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用できる。加算部１５５についての説明は、加算部２３５に対しても同様に適用できる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることもある。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを介して次のピクチャのインター予測のために使用されることもできる。

【0110】

フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。

【0111】

メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。

【0112】

本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。

【0113】

変換／逆変換の概要

【0114】

上述したように、符号化装置は、イントラ／インター／ＩＢＣ予測などによって予測されたブロック（予測サンプル）に基づいてレジデュアルブロック（レジデュアルサンプル）を導出することができ、導出されたレジデュアルサンプルに変換及び量子化を適用して、量子化された変換係数を導出することができる。量子化された変換係数に対する情報（レジデュアル情報）は、レジデュアルコーディングシンタックスに含まれて符号化された後、ビットストリーム形式で出力されることができる。復号化装置は、前記ビットストリームから前記（量子化された）変換係数に対する情報（レジデュアル情報）を取得し、復号化して、量子化された変換係数を導出することができる。復号化装置は、量子化された変換係数に基づいて逆量子化／逆変換を経てレジデュアルサンプルを導出することができる。上述したように、前記量子化／逆量子化及び／又は変換／逆変換のうちの少なくとも一つは省略可能である。前記量子化／逆量子化が省略される場合、前記量子化された変換係数は、変換係数と呼ばれることがある。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもあり、或いは表現の統一性のために変換係数と依然として呼ばれることもある。前記変換／逆変換の省略可否は、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇに基づいてシグナリングされることができる。

【0115】

また、本開示において、量子化された変換係数及び変換係数は、それぞれ変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることがある。この場合、レジデュアル情報は、変換係数に関する情報を含むことができ、前記変換係数に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。前記レジデュアル情報（又は前記変換係数に関する情報）に基づいて変換係数が導出されることができ、前記変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。前記スケーリングされた変換係数に対する逆変換（変換）に基づいてレジデュアルサンプルが導出されることができる。これは、本開示の他の部分においても同様に適用／表現できる。

【0116】

前記変換／逆変換は、変換カーネルに基づいて行われることができる。例えば、本開示によれば、ＭＴＳ（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）スキーム（ｓｃｈｅｍｅ）が適用できる。この場合、多数の変換カーネルセットの中から一部が選択されて現在ブロックに適用できる。変換カーネルは、変換マトリクスや変換タイプなどの多様な用語で呼ばれることができる。例えば、変換カーネルセットは、垂直方向変換カーネル（垂直変換カーネル）及び水平方向変換カーネル（水平変換カーネル）の組み合わせを示すことができる。

【0117】

例えば、ＭＴＳインデックス情報（又は、ｍｔｓ＿ｉｄｘシンタックス要素）が前記変換カーネルセットのうちの一つを指示するために、符号化装置で生成／符号化されて復号化装置にシグナリングされることができる。例えば、ＭＴＳインデックス情報の値による変換カーネルセットは、表１のように導出されることができる。

【0118】

【表1】

【0119】

表１は、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］によるｔｙＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値を示す。

【0120】

前記変換カーネルセットは、例えば、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに基づいて表２のように決定されることもできる。

【0121】

【表2】

【0122】

表２は、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇによるｔｙＴｙｐｅｒＨｏｒ及びｔｒＴｙｐｅＶｅｒ値を示す。ここで、１のようなｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、現在コーディングユニットが二つの変換ブロックに水平分割されることを示すことができる。これとは異なり、０のようなｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、現在コーディングユニットが二つの変換ブロックに垂直分割されることを示すことができる。また、１のようなｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇは、現在コーディングユニット内の第１変換ユニットのシンタックス要素ｔｕ＿ｃｂｆ＿ｌｕｍａ、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒがビットストリーム内に存在しないことを示すことができる。これとは異なり、０のようなｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇは、現在コーディングユニット内の第２変換ユニットのシンタックス要素ｔｕ＿ｃｂｆ＿ｌｕｍａ、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒがビットストリーム内に存在しないことを示すことができる。

【0123】

一方、表１及び表２において、ｔｒＴｙｐｅＨｏｒは、水平方向変換カーネルを示すことができ、ｔｒＴｙｐｅＶｅｒは、垂直方向変換カーネルを示すことができる。ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値０はＤＣＴ２を示すことができ、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値１はＤＳＴ７を示すことができ、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値２はＤＣＴ８を示すことができる。但し、これは、例示であって、約束によって他の値が他のＤＣＴ／ＤＳＴにマッピングされることもできる。

【0124】

表３は、上述したＤＣＴ２、ＤＣＴ８、ＤＳＴ７に対する基底関数（ｂａｓｉｓ ｆｕｎｃｔｉｏｎｓ）を例示的に示す。

【0125】

【表3】

【0126】

本開示において、前記ＭＴＳ基盤の変換が一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）として適用され、二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）がさらに適用され得る。前記二次変換は、前記一次変換が適用された係数ブロックの左上端ｗ×ｈ領域の係数に対してのみ適用されてもよく、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれてもよい。例えば、前記ｗ及び／又はｈは４又は８であってもよい。変換では、レジデュアルブロックに前記一次変換及び前記二次変換が順次適用されることができ、逆変換では、変換係数に逆二次変換及び逆一次変換が順次適用されることができる。前記二次変換（ＲＳＴ変換）は、ｌｏｗ ｆｒｅｕｅｑｎｃｙ ｃｏｅｆｆｉｃｉｅｎｔｓ ｔｒａｎｓｆｏｒｍ（ＬＦＣＴ）又はｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐｅｒａｂｌｅ ｔｒａｎｓｆｏｒｍ（ＬＦＮＳＴ）と呼ばれることがある。前記逆二次変換は、逆ＬＦＣＴ又は逆ＬＦＮＳＴと呼ばれることがある。

【0127】

図４は、ＬＦＮＳＴ適用方法を説明するための図である。

【0128】

図４を参照すると、ＬＦＮＳＴは、エンコーダ段では順方向（ｆｏｒｗａｒｄ）一次変換４１１と量子化４１３との間、デコーダ段では逆量子化４２１と逆方向（ｉｎｖｅｒｓｅ）一次変換（又は一次逆変換）４２３との間に適用されることができる。

【0129】

ＬＦＮＳＴでは、４×４非分離変換又は８×８非分離変換がブロックのサイズに応じて（選択的に）適用されることができる。例えば、比較的小さいブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）＜８）に対しては４×４ＬＦＮＳＴが適用され、比較的大きいブロック（すなわち、ｍｉｎ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）＞４）に対しては８×８ＬＦＮＳＴが適用されることができる。図４では、例示的に、１６個の入力係数に対して４×４順方向ＬＦＮＳＴが適用され、６４個の入力係数に対して８×８順方向ＬＦＮＳＴが適用されることが示される。また、図４では、例示的に、８個の入力係数に対して４×４逆方向ＬＦＮＳＴが適用され、１６個の入力係数に対して８×８逆方向ＬＦＮＳＴが適用されることができることが示される。

【0130】

ＬＦＮＳＴでは、総４つの変換セットとそれぞれの変換セットごとに二つの非分離変換行列（カーネル）が用いられることができる。イントラ予測モードから変換セットへのマッピングは、表４のように予め定義できる。

【0131】

【表4】

【0132】

表４を参照すると、現在ブロックに対して８１乃至８３の予測モード番号を有する（すなわち、８１≦ＩｎｔｒａＰｒｅｄＭｏｄｅ≦８３）３つのＣＣＬＭモードが用いられる場合、現在クロマブロックに対して変換セット０が選択されることができる。それぞれの変換セットに対して、指定された非分離二次変換候補が明示的にシグナリングされたＬＦＮＳＴインデックスによってさらに指定されることができる。当該インデックスは、変換係数以後、ＩｎｔｒａＣＵ当たり１回ずつビットストリーム内でシグナリングされることができる。

【0133】

一方、前記変換／逆変換は、ＣＵ又はＴＵ単位で行われることができる。すなわち、前記変換／逆変換は、ＣＵ内のレジデュアルサンプル又はＴＵ内のレジデュアルサンプルに対して適用されることができる。ＣＵサイズとＴＵサイズとが同じであってもよく、或いはＣＵ領域内に複数のＴＵが存在してもよい。一方、ＣＵサイズとは、一般的にルーマ成分（サンプル）ＣＢサイズを示すことができる。ＴＵサイズとは、一般的にルーマ成分（サンプル）ＴＢサイズを示すことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、カラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に応じてルーマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。前記ＴＵサイズは、ｍａｘＴｂＳｉｚｅに基づいて導出されることができる。例えば、前記ＣＵサイズが前記ｍａｘＴＢＳｉｚｅより大きい場合、前記ＣＵから前記ｍａｘＴｂＳｉｚｅの複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。前記ｍａｘＴｂＳｉｚｅは、ＩＳＰなどの多様なイントラ予測タイプが適用されるか否かの判断などに考慮されることができる。前記ｍａｘＴｂＳｉｚｅに対する情報は、予め決定されてもよく、或いは符号化装置で生成及び符号化されて復号化装置へシグナリングされてもよい。

【0134】

前述したように、変換は、レジデュアルブロックに適用されることができる。これは、最大限レジデュアルブロックを無相関化（ｄｅｃｏｒｒｅｌａｔｅ）し、低周波数に係数を集中させ、ブロックの端にゼロテール（ｚｅｒｏ ｔａｉｌ）を作るためである。ＪＥＭソフトウェアにおいて、変換パートは、二つの主要機能、すなわちコア変換及び二次変換を含む。コア変換は、レジデュアルブロックの全ての行と列に適用されるＤＣＴ（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）及びＤＳＴ（ｄｉｓｃｒｅｔｅ ｓｉｎｅ ｔｒａｎｓｆｏｒｍ）変換ファミリーで構成される。以後、二次変換がコア変換の出力の左上隅に追加的に適用できる。同様に、二次逆変換とコア逆変換の順に逆変換が適用されることができる。具体的には、二次逆変換が係数ブロックの左上隅に適用されることができる。以後、コア逆変換が二次逆変換の出力の行及び列に適用される。コア変換／逆変換は、一次変換／逆変換と称されることがある。

【0135】

ＡＭＴ（Ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）の概要

【0136】

既存のＤＣＴ－２と４×４ＤＳＴ－７に加えて、適応的（又は明示的）多重変換（ａｄａｐｔｉｖｅ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ又はｅｘｐｌｉｃｉｔ ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ）（ＡＭＴ又はＥＭＴ）技法が、インター及びイントラコーディングされたブロックに対するレジデュアルコーディングのために利用できる。以下、ＡＭＴ及びＥＭＴを混用して使用することもある。ＡＭＴでは、既存の変換の他にＤＣＴ／ＤＳＴファミリーから選ばれた複数の変換が利用できる。ＪＥＭにおいて新たに導入された変換行列は、ＤＳＴ－７、ＤＣＴ－８、ＤＳＴ－１及びＤＣＴ－５である。ＡＭＴに用いられるＤＳＴ／ＤＣＴの基底関数は、表５の通りである。

【0137】

【表5】

【0138】

ＥＭＴは、６４と同じかそれより小さい幅及び高さを有するＣＵに適用されることができ、ＥＭＴが適用されるか否かは、ＣＵレベルフラグによって制御されることができる。例えば、ＣＵレベルフラグが０であれば、ＤＣＴ－２がレジデュアル（ｒｅｓｉｄｕｅ）を符号化するためにＣＵに適用される。ＥＭＴが適用されるＣＵ内のルーマコーディングブロックに対して、二つの追加的なフラグが用いられる水平及び垂直変換を識別するためにシグナリングされる。ＪＥＭにおいて、ブロックのマニュアルは、変換スキップモードでコーディングされることができる。イントラレジデュアルコーディングの場合、他のイントラ予測モードの他のレジデュアル統計により、モード依存的変換候補選択プロセスが用いられる。例えば、３つの変換サブセットが表６のように定義され、表７のようにイントラ予測モードに基づいて変換サブセットが選択される。

【0139】

【表6】

【0140】

【表7】

【0141】

サブセットコンセプトと共に、変換サブセットは、ＣＵ－レベルＥＭＴ＿ＣＵ＿ｆｌａｇが１であるＣＵのイントラ予測モードを用いて、表６に基づいて最初に識別される。以後、水平（ＥＭＴ＿ＴＵ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ）及び垂直（ＥＭＴ＿ＴＵ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ）変換のそれぞれに対して、識別された変換サブセット内の二つの変換候補のうちの一つが、表７に従ってフラグを用いた明示的シグナリングに基づいて選択される。

【0142】

【表8】

【0143】

表８は、ＡＭＴが適用される変換設定グループ（ｔｒａｎｓｆｏｒｍ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｇｒｏｕｐ）を示す。

【0144】

表８を参照すると、変換設定グループは、予測モードに基づいて決定され、グループの個数は、総６個（Ｇ０～Ｇ５）であり得る。そして、Ｇ０～Ｇ４は、イントラ予測が適用される場合に該当し、Ｇ５は、インター予測によって生成されたレジデュアルブロックに適用される変換組み合わせ（又は変換セット、変換組み合わせセット）を示す。

【0145】

一つの変換組み合わせは、当該２Ｄブロックの行（ｒｏｗ）に適用される水平変換（ｈｏｒｉｚｏｎｔａｌ ｔｒａｎｓｆｏｒｍ）（又は、行変換（ｒｏｗ ｔｒａｎｓｆｏｒｍ）と、列（ｃｏｌｕｍｎ）に適用される垂直変換（ｖｅｒｔｉｃａｌ ｔｒａｎｓｏｆｏｒｍ）（又は、列変換（ｃｏｌｕｍｎ ｔｒａｎｓｆｏｒｍ））からなることができる。

【0146】

ここで、全ての変換設定グループは、各４つの変換組み合わせ候補を有することができる。４つの変換組み合わせ候補は、０～３の変換組み合わせインデックスを介して選択又は決定されることができ、エンコーダからデコーダに変換組み合わせインデックスを符号化して伝送することができる。

【0147】

一例として、イントラ予測によって取得されたレジデュアルデータ（又はレジデュアル信号）は、イントラ予測モードによってその統計的特性がそれぞれ異なり得る。従って、表８のように、イントラ予測別に、一般的なコサイン変換ではなく他の変換が適用されることができる。本開示において、変換タイプは、例えば、ＤＣＴ－Ｔｙｐｅ２、ＤＣＴ－ＩＩ、ＤＣＴ－２のように表記されることができる。

【0148】

表８は、３５個のイントラ予測モードを使用する場合と６７個のイントラ予測モードを使用する場合を示す。各イントラ予測モード列において区分された変換設定グループ別に複数個の変換組み合わせが適用できる。例えば、複数個の変換組み合わせは、４個の（行方向変換、列方向変換）組み合わせで構成できる。具体的な例として、グループ０では、行（水平）方向と列（垂直）方向の両方ともにＤＳＴ－７とＤＣＴ－５が適用できるため、総４個の組み合わせが可能である。

【0149】

各イントラ予測モードに対して総４個の変換カーネル組み合わせが適用できるので、その中の一つを選択するための変換組み合わせインデックスが変換単位（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）ごとに伝送されることができる。本開示において、変換組み合わせインデックスは、ＡＭＴインデックス（ＡＭＴ ｉｎｄｅｘ）と称されることがあり、ａｍｔ＿ｉｄｘで表現できる。

【0150】

また、表８に提示された変換カーネル以外にも、レジデュアル信号の特性上、行方向と列方向の両方に対して、ＤＣＴ－２が最適である場合が発生しうる。したがって、コーディングユニットごとにＡＭＴフラグを定義することにより、適応的に変換が適用できる。ここで、ＡＭＴフラグが０であれば、行方向と列方向の両方に対してＤＣＴ－２が適用され、ＡＭＴフラグが１であれば、ＡＭＴインデックスを介して４個の組み合わせのうちの一つが選択又は決定されることができる。

【0151】

一例として、ＡＭＴフラグが０である場合、一つの変換単位に対して変換係数の個数が３より小さければ、表８の変換カーネルが適用されず、行方向と列方向の両方に対してＤＳＴ－７コーデックが適用されることができる。

【0152】

一例として、変換係数値を先にパーシングして変換係数の個数が３より小さければ、ＡＭＴインデックスがパーシングされずにＤＳＴ－７が適用されることにより、付加情報伝送量が減少できる。

【0153】

一例として、ＡＭＴは、変換単位の幅と高さの両方が３２以下である場合にのみ適用できる。

【0154】

一例として、表８は、オフライントレーニング（ｏｆｆ－ｌｉｎｅ ｔｒａｉｎｉｎｇ）を介して予め設定できる。

【0155】

一例として、ＡＭＴインデックスは、水平変換と垂直変換の組み合わせを同時に指し示すことができる一つのインデックスと定義できる。或いは、ＡＭＴインデックスは、別途の水平変換インデックス及び垂直変換インデックスと定義できる。

【0156】

図５は、ＡＭＴが行われる符号化過程を示すフローチャートである。

【0157】

ＡＭＴは、一次変換又は二次変換に関係なく適用できる。すなわち、両者のいずれか一方にのみ適用されなければならないという制約がなく、両方とも適用可能である。ここで、一次変換は、レジデュアルブロックを最初に変換するための変換を意味することができ、二次変換は、一次変換の結果として生成されたブロックに対して変換を適用するための変換を意味することができる。

【0158】

まず、符号化装置は、現在ブロックに対応する変換グループを決定することができる（Ｓ５１０）。ここで、前記変換グループは、表８を参照して前述した変換グループを意味することができるが、これに限定されず、他の変換組み合わせで構成されてもよい。

【0159】

符号化装置は、前記変換グループ内の利用可能な候補変換組み合わせに対して変換を行うことができる（Ｓ５２０）。

【0160】

前記変換を行った結果、符号化装置は、ＲＤ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）費用が最も小さい変換組み合わせを決定又は選択することができる（Ｓ５３０）。

【0161】

符号化装置は、前記選択された変換組み合わせに対応する変換組み合わせインデックスを符号化することができる（Ｓ５４０）。

【0162】

図６は、ＡＭＴが行われる復号化過程を示すフローチャートである。

【0163】

まず、復号化装置は、現在ブロックのための変換グループを決定することができる（ステップＳ６１０）。

【0164】

復号化装置は、変換組み合わせインデックスをパーシングすることができる（Ｓ６２０）。ここで、前記変換組み合わせインデックスは、前記変換グループ内の複数個の変換組み合わせのうちのいずれか一つに対応することができる。変換グループを決定するステップ（Ｓ６１０）、及び変換組み合わせインデックスをパーシングするステップ（Ｓ６２０）は同時に行われてもよい。

【0165】

復号化装置は、前記変換組み合わせインデックスに対応する変換組み合わせを誘導することができる（Ｓ６３０）。ここで、前記変換組み合わせは、表８を参照して前述した変換組み合わせを意味することができるが、これに限定されない。すなわち、他の変換組み合わせによる構成も可能である。

【0166】

復号化装置は、前記変換組み合わせに基づいて現在ブロックに対して逆変換を行うことができる（Ｓ６４０）。前記変換組み合わせが行変換と列変換で構成された場合、行変換を先に適用した後、列変換を適用することができる。但し、本過程は、これに限定されず、逆に適用されてもよい。

【0167】

二次変換及びＮＳＳＴインデックスコーディングの概要

【0168】

二次変換／逆変換のために、モード依存的非分離二次変換（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＭＤＮＳＳＴ）が適用できる。低複雑度を保つために、ＭＤＮＳＳＴは、一次変換後に低周波係数に対してのみ適用できる。変換係数ブロックの幅（ｗｉｄｔｈ、Ｗ）及び高さ（ｈｅｉｇｈｔ、Ｈ）がいずれも８と同じかそれより大きければ、８×８非分離二次変換が変換係数ブロックの左上側の８×８領域に適用される。これとは異なり、幅又は高さが８よりも小さい場合、４×４非分離二次変換が適用され、４×４非分離二次変換は変換係数ブロックの左上側のｍｉｎ（８、Ｗ）× ｍｉｎ（８、Ｈ）に行われることができる。ここで、ｍｉｎ（Ａ、Ｂ）は、ＡとＢのうちより小さい値を出力する関数である。

【0169】

４×４及び８×８ブロックサイズの両方に対して、合計３５×３個の非分離二次変換があり得る。ここで、３５は、イントラ予測モードによって特定される変換セットの個数を意味し、３は、それぞれのイントラ予測モードに対するＮＳＳＴ候補の個数を意味することができる。イントラ予測モードから変換セットへのマッピングは、表９のように定義できる。

【0170】

【表9】

【0171】

変換セットの中で変換カーネルを指示するために、ＮＳＳＴインデックス（ＮＳＳＴ ｉｄｘ）がコーディングされることができる。ＮＳＳＴが適用されなければ、０の値を有するＮＳＳＴインデックスがシグナリングされることができる。

【0172】

二次変換（例えば、ＭＤＮＳＳＴ）は、変換スキップモードでコーディングされたブロックに対しては適用されない。ＭＤＮＳＳＴインデックスがＣＵに対してシグナリングされ、０でなければ、ＭＤＮＳＳＴは、ＣＵ内において変換スキップモードでコーディングされた成分のブロックに対しては使用されない。係数コーディングとＮＳＳＴインデックスコーディングを含む全般的なコーディング構造が図６及び図７に示される。また、ＣＢＦ（ｃｏｄｅｄ ｂｌｏｃｋ ｆｌａｇ）が、係数コーディング及びＮＳＳＴコーディングが適用されるか否かを決定するために符号化される。図６及び図７において、ＣＢＦフラグは、ルーマブロックｃｂｆフラグ（ｃｂｆ＿ｌｕｍａ ｆｌａｇ）又はクロマブロックｃｂｆフラグ（ｃｂｆ＿ｃｂ ｆｌａｇ又はｃｂｆ＿ｃｒ ｆｌａｇ）を示すことができる。ＣＢＦフラグが１であるとき、変換係数がコーディングされる。

【0173】

図７は、ＮＳＳＴが行われる符号化過程を示すフローチャートである。

【0174】

図７を参照すると、符号化装置は、ＣＢＦフラグが１であるか否かを確認する（Ｓ７１０）。ＣＢＦフラグが０である場合（Ｓ７１０の「ＮＯ」）、符号化装置は、変換係数符号化及びＮＳＳＴインデックス符号化を行わない。これとは異なり、ＣＢＦフラグが１である場合（Ｓ７１０の「ＹＥＳ」）、符号化装置は、変換係数に対する符号化を行う（Ｓ７２０）。その後、符号化装置は、ＮＳＳＴインデックスコーディングが適用されるか否かを決定し（Ｓ７３０）、ＮＳＳＴインデックスコーディングを行う（Ｓ７４０）。ＮＳＳＴインデックスコーディングが適用されない場合（Ｓ７３０の「ＮＯ」）、符号化装置は、ＮＳＳＴを適用していない状態で変換手続きを終了し、以後のステップ（例えば、量子化）を行うことができる。

【0175】

図８は、ＮＳＳＴが行われる復号化過程を示すフローチャートである。

【0176】

図８を参照すると、復号化装置は、ＣＢＦフラグが１であるか否かを確認する（Ｓ８１０）。ＣＢＦフラグが０である場合（Ｓ８１０の「ＮＯ」）、復号化装置は、変換係数復号化及びＮＳＳＴインデックス復号化を行わない。これとは異なり、ＣＢＦフラグが１である場合（Ｓ８１０の「ＹＥＳ」）、復号化装置は、変換係数に対する復号化を行う（Ｓ８２０）。その後、復号化装置は、ＮＳＳＴインデックスコーディングが適用されるか否かを決定し（Ｓ８３０）、ＮＳＳＴインデックスをパーシングする（Ｓ８４０）。

【0177】

ＮＳＳＴは、一次変換が適用されたブロック、例えば、ＴＵ全体に対して適用されるのではなく、ブロックの左上側の８×８領域又は４×４領域に対してのみ適用できる。一例として、ブロックのサイズが８×８以上である場合、８×８ＮＳＳＴが適用され、ブロックのサイズが８×８未満である場合、４×４ＮＳＳＴが適用されることができる。また、８×８ＮＳＳＴが適用される場合、４×４ブロック別に４×４ＮＳＳＴが適用されることができる。８×８ＮＳＳＴと４×４ＮＳＳＴの両方とも上述した変換セット構成に従い、８×８ＮＳＳＴは６４個の入力データと６４個の出力データを有し、４×４ＮＳＳＴは１６個の入力と１６個の出力を有することができる。

【0178】

図９及び図１０は、ＮＳＳＴ実行方法を説明するための図である。図９はギブンス回転（Ｇｉｖｅｎｓ Ｒｏｔａｔｉｏｎ）を示し、図１０はギブンス回転レイヤーと置換（Ｐｅｒｍｕｔａｔｉｏｎ）で構成された４×４ＮＳＳＴのラウンド（Ｒｏｕｎｄ）構成を示す。

【0179】

８×８ＮＳＳＴと４×４ＮＳＳＴはいずれも、ギブンス回転の階層的組み合わせで構成されることができる。一つのギブンス回転に該当する行列は、数式１の通りであり、行列積をダイヤグラムで表現すれば、図９の通りである。

【0180】

【数1】

【0181】

図９に示すように、二つの入力データｘ_ｍ及びｘ_ｎに対して数式１の行列を適用して二つの出力データｔ_ｍ及びｔ_ｎが取得されることができる。

【0182】

一つのギブンス回転は、二つのデータを回転させるものであるので、６４個のデータ（８×８ＮＳＳＴの場合）又は１６個のデータ（４×４ＮＳＳＴの場合）を処理するためには、それぞれ３２個又は８個のギブンス回転が必要である。よって、３２個又は８個のギブンス回転をグループ化してギブンス回転レイヤーが構成されることができる。

【0183】

図１０に示すように、一つのギブンス回転レイヤーに対する出力データが置換（又は、シャッフリング）を介して次のギブンス回転レイヤーに対する入力データへ伝達される。図１０のように置換されるパターンは、規則的に定義され、４×４ＮＳＳＴの場合は、４個のギブンス回転レイヤー及び対応する置換が一つのラウンドを形成する。４×４ＮＳＳＴは、２回のラウンドによって行われ、８×８ＮＳＳＴは、４回のラウンドによって行われる。互いに異なるラウンドは、同一の置換パターンを使用するが、適用されるギブンス回転角度は、それぞれ異なり得る。よって、各変換を構成する全てのギブンス回転に対する角度データを保存する必要がある。

【0184】

最後のステップとして、ギブンス回転レイヤーを経て出力されたデータに対して最終的に一回の置換がさらに行われ、当該置換に関する情報は、変換ごとに別途に保存される。順方向ＮＳＳＴの場合、当該置換は最後に行われ、逆方向ＮＳＳＴの場合、当該置換の逆過程（すなわち、逆方向置換又は逆置換）は最も先に行われる。

【0185】

逆方向ＮＳＳＴの場合、順方向ＮＳＳＴで適用されたギブンス回転レイヤーとは置換が逆順に適用され、各ギブンス回転角度に対してはマイナス（－）値が付加される。

【0186】

ＲＳＴ（Ｒｅｄｕｃｅｄ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）の概要

【0187】

図１１及び図１２は、ＲＳＴ実行方法を説明するための図である。

【0188】

一つの変換を表す直交（ｏｒｔｈｏｇｏｎａｌ）行列がＮ×Ｎ形態を有すると仮定するとき、ＲＴ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）は、Ｎ個の変換基底ベクトルのうち、Ｒ個のみを残す（Ｒ＜Ｎ）。変換係数を生成する順方向ＲＴに対する行列は、数式２のように定義できる。

【0189】

【数2】

【0190】

逆方向ＲＴに対する行列は、順方向ＲＴ行列の転置（ｔｒａｎｓｐｏｓｅ）行列になるので、順方向ＲＴと逆方向ＲＴの適用を図式化すれば、図１１の（ａ）及び（ｂ）の通りである。

【0191】

一次変換が適用された変換係数ブロックの左上端の８×８ブロックに対して適用されるＲＴは、８×８ＲＳＴと称されることがある。数式２においてＲの値を１６としたとき、順方向８×８ＲＳＴは１６×６４行列形態を有し、逆方向８×８ＲＳＴは６４×１６行列形態を有する。８×８ＲＳＴに対しても、表９のような変換セット構成が適用できる。すなわち、表９における変換セットによって８×８ＲＳＴが決定できる。一つの変換セットは、イントラ予測モードに応じて２個又は３個の変換で構成されるので、二次変換を適用しない場合まで含めて最大４個の変換のうちの一つが選択できる（一つの変換は、恒等行列に該当することができる）。４個の変換に対してそれぞれ０、１、２、３のインデックスを付与すると仮定するとき（例えば、０番インデックスは恒等行列、すなわち、二次変換が適用されない場合に割り当てられることができる）、ＮＳＳＴインデックスに該当するシンタックス要素が変換係数ブロックごとにシグナリングされることにより、適用される変換が指定できる。すなわち、ＮＳＳＴインデックスを介して８×８の左上端のブロックに対して、ＮＳＳＴの場合は８×８ＮＳＳＴが指定でき、ＲＳＴの場合は８×８ＲＳＴが指定できる。

【0192】

上述した数式２のような順方向８×８ＲＳＴを適用すると、１６個の有効な変換係数が生成されるので、８×８領域を構成する６４個の入力データが１６個の出力データに縮小されると見做すことができ、二次元領域観点から見れば、１／４だけの領域にのみ有効な変換係数が満たされる。したがって、順方向８×８ＲＳＴを適用して取得された１６個の出力データは、図１２における左上端領域に満たされる。

【0193】

図１２は、逆方向スキャン順序に従って６４番目から１７番目までの逆方向スキャンを行う過程を示す。

【0194】

図１２において、左上端の４×４領域が、有効な変換係数が満たされるＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）領域となり、残りの領域は空になる。空になる領域には０の値がデフォルト（ｄｅｆａｕｌｔ）で満たされることができる。もし、図１２のＲＯＩ領域以外の領域から０でない有効な変換係数が発見されたとすれば、８×８ＲＳＴが適用されていないことが確実であるので、ＮＳＳＴインデックスコーディングが省略できる。逆に、図１２のＲＯＩ領域以外の領域から０でない変換係数が発見されなければ（すなわち、ＲＯＩ以外の領域が０で満たされた場合）、８×８ＲＳＴが適用された可能性があるので、ＮＳＳＴインデックスがコーディングされることができる。このような条件的ＮＳＳＴインデックスコーディングは、０でない変換係数の存否をチェックする必要があるので、レジデュアルコーディング過程以後に行われることができる。

【0195】

本開示において、ＮＳＳＴ／ＲＴ／ＲＳＴは、総称してＬＦＮＳＴと呼ばれることがあり、ＮＳＳＴインデックス又は（Ｒ）ＳＴインデックスは、総称してＬＦＮＳＴインデックスと呼ばれることがある。ＬＦＮＳＴは、変換係数ブロックの左上端領域に位置した低周波変換係数に対して変換カーネル（変換マトリクス又は変換マトリクスカーネル）に基づく非分離変換形式で適用できる。

【0196】

以下、添付図面を参照して本開示の実施例を詳細に説明する。

【0197】

図１３は、本開示の一実施例による変換及び逆変換過程を説明するための図である。図１３において、変換部１３１０は、図２の変換部１２０に対応することができ、逆変換部１３２０は、図２の逆変換部１５０又は図３の逆変換部２３０に対応することができる。

【0198】

図１３を参照すると、変換部１３１０は、一次変換部１３１１及び二次変換部１３１２を含むことができる。

【0199】

一次変換部１３１１は、レジデュアルサンプル（Ａ）に対して一次変換を適用して（一次）変換係数（Ｂ）を生成することができる。本開示において、一次変換はコア変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と称されることがある。

【0200】

一次変換は、ＭＴＳスキームに基づいて行われることができる。既存のＭＴＳが適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７及びＤＣＴタイプ８などに基づいてレジデュアル信号（又はレジデュアルブロック）に対して空間ドメインから周波数ドメインへの変換が適用されて変換係数（又は、一次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７及びＤＣＴタイプ８などは、変換タイプ、変換カーネル又は変換コアと呼ばれることがある。ＤＣＴタイプ２、ＤＳＴタイプ７及びＤＣＴタイプ８に対する基底関数の一例は、表３を参照して前述した通りである。但し、これは、例示であって、本開示の実施例は、既存のＭＴＳカーネルの構成が異なる場合にも適用されてもよく、すなわち、他のタイプのＤＣＴ／ＤＳＴ又は変換ｓｋｉｐを含む場合にも適用されてもよい。

【0201】

既存のＭＴＳは、分離変換であって、水平方向に一つのカーネルを適用し、垂直方向に一つのカーネルを適用する形態を有する。一般に、非分離変換カーネルが分離変換カーネルよりもさらに高い符号化／復号化効率を提供することが知られているが、従来の一次変換では、非分離変換方法を使用していない。

【0202】

そこで、本開示の実施例によれば、一次変換は、非分離変換カーネルに基づいて行われることができる。本開示において、非分離変換カーネルに基づく一次変換は、非分離一次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）又は非分離コア変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることがある。

【0203】

非分離一次変換は、既存のＭＴＳ候補のうちの少なくとも一つを置き換えるか、或いは新しいＭＴＳ候補として追加されることができる。例えば、ＤＣＴタイプ２と非分離一次変換のみがＭＴＳ候補として用いられてもよく、ＤＣＴタイプ２、ＤＳＴタイプ７及びＤＣＴタイプ８にさらに非分離一次変換がＭＴＳ候補として用いられてもよい。

【0204】

非分離一次変換がＭＴＳ候補に含まれることにより、前述した表１のＭＴＳインデックス（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘ０］［ｙ０］）テーブルは、例えば、表１０又は表１１のように修正できる。

【0205】

【表10】

【0206】

【表11】

【0207】

表１０及び表１１において、ｔｒＴｙｐｅＨｏｒは、水平方向変換カーネルを示すことができ、ｔｒＴｙｐｅＶｅｒは、垂直方向変換カーネルを示すことができる。表１０の場合、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値０は、ＤＣＴタイプ２を示し、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値１は、ＤＳＴタイプ７を示し、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値２は、非分離一次変換を示すことができる。表１１の場合、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値０は、ＤＳＴタイプ２を示し、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値１は、ＤＳＴタイプ７を示し、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値２は、ＤＳＴタイプ８を示すことができる。また、ｔｒＴｙｐｅＨｏｒ／ｔｒＴｙｐｅＶｅｒ値３は、非分離一次変換を示すことができる。但し、これは一つの例示に過ぎず、本開示の実施例はこれに限定されない。

【0208】

非分離一次変換は、水平方向変換及び垂直方向変換が分離されない属性を有するので、非分離一次変換の変換カーネルは、水平方向及び垂直方向に対して必ず同一であることを要する。そこで、本開示の一実施例によれば、ｔｒＴｙｐｅＨｏｒが非分離一次変換を示す値を有する場合、ｔｒＴｙｐｅＶｅｒ値も非分離一次変換を指示する値を有するように強制されることができる（ｃｏｎｓｔｒａｉｎｔ）。例えば、表１１において、ｔｒＴｙｐｅＨｏｒ値が３であれば、ｔｒＴｙｐｅＶｅｒ値は０～２であってはならず、３のみに強制されることができる。

【0209】

一方、実施例によって、非分離一次変換は、上述したＭＴＳスキームとは別のオプションで追加されてもよい。例えば、非分離一次変換は、ＭＴＳ候補に含まれず、独立した一つの変換候補として用いられてもよい。この場合、非分離一次変換が適用されるか否かを示すために、所定の第１フラグ（例えば、ｎｓｐｔ＿ｆｌａｇ）がシグナリングされることができ、ＭＴＳが適用されるか否かを示す第２フラグ（例えば、ｍｔｓ＿ｆｌａｇ）は、第１フラグが０である場合（すなわち、非分離一次変換が適用されないことを示す場合）にのみシグナリングされることができる。

【0210】

非分離一次変換は、例えば、４×４ブロックを入力として、次の通りに行われることができる。４×４入力ブロックＸの一例は、数式３の通りである。

【0211】

【数3】

【0212】

入力ブロックＸをベクトル形式で表現すると、数式４のように示すことができる。

【0213】

【数4】

【0214】

この場合、非分離一次変換は、数式５のように計算できる。

【0215】

【数5】

【0216】

ここで、

変換係数ベクトルを示し、

１６×１６非分離変換行列を示し、

行列とベクトルとの乗算を意味する。

【0217】

数式５によって１６×１変換係数ベクトルが導出されることができ、

スキャン順序（例えば、水平、垂直、対角（ｄｉａｇｏｎａｌ）、又は予め定められた／保存されたスキャン順序）によって４×４ブロックに再構成されることができる。但し、これは、一つの例示に過ぎず、非分離一次変換の計算複雑度を減少させるために、最適化された多様な非分離変換計算法が用いられてもよい。

【0218】

このように、本開示の実施例によれば、一次変換部１３１１は、レジデュアルサンプルＡに対して非分離一次変換を適用して（一次）変換係数Ｂを生成することができる。

【0219】

二次変換部１３１２は、（一次）変換係数Ｂに対して二次変換を適用して（二次）変換係数Ｃを生成することができる。一例において、二次変換として、前述したＬＦＮＳＴが適用できる。そして、（二次）変換係数Ｃは、量子化及びエントロピー符号化過程によって符号化され、ビットストリームの生成に用いられることができる。

【0220】

次に、逆変換部１３２０は、（逆）二次変換部１３２１及び（逆）一次変換部１３２２を含むことができる。

【0221】

（逆）二次変換部１３２１は、逆量子化された（二次）変換係数Ｃ”に対して（逆）二次変換を適用して（一次）（逆）変換係数Ｂ’を生成することができる。ここで、（逆）二次変換は、変換部１３１０によって行われた二次変換の逆過程に該当することができる。

【0222】

（逆）一次変換部１３２２は、（一次）（逆）変換係数Ｂ’に対して（逆）一次変換を適用してレジデュアルサンプルＡ’を生成することができる。

【0223】

本開示の実施例によれば、（逆）一次変換は、非分離一次逆変換を含むことができる。非分離一次逆変換は、ＭＴＳ候補として含まれるか、或いは独立した逆変換候補として提供されることができる。非分離一次逆変換は、非分離一次変換の逆過程に該当し、その具体的な内容は、非分離一次変換に関連して上述した通りである。

【0224】

一方、非分離一次変換は、水平方向変換及び垂直方向変換を分離せずに一度に変換を適用するという点で、非分離二次変換とは基本的属性が同一又は類似である。しかし、変換対象、変換行列、ゼロアウト範囲などの具体的変換方法において、両者は異なる特徴を有する。以下、図１４ａ乃至図１６ｄを参照して、非分離一次変換と非分離二次変換との差異点を詳細に説明する。

【0225】

図１４ａ乃至図１４ｄは、非分離二次変換過程を説明するための図である。

【0226】

図１４ａ乃至図１４ｄは、エンコーダ段における非分離二次変換、すなわち順方向非分離二次変換過程を示す。

【0227】

図１４ａは、入力ブロックのサイズが４×４である場合を示し、図１４ｂは、入力ブロックのサイズが８×４又は４×８である場合を示す。また、図１４ｃは、入力ブロックのサイズが８×８である場合を示し、図１４ｄは、入力ブロックのサイズが１６×８又は８×１６である場合を示す。

【0228】

図１４ａ乃至図１４ｄにおいて、太線で表示された領域は、非分離二次変換が適用される領域を示す。

【0229】

まず、図１４ａを参照すると、非分離二次変換は、４×４入力ブロック全体に対して適用できる。

【0230】

具体的に、４×４入力ブロックの１６個の（一次）変換係数に対して１６×８非分離二次変換行列が適用され、８個の（二次）変換係数が生成されることができる。１６×８行列が用いられるのは、最悪の場合（ｗｏｒｓｔ ｃａｓｅ）に乗算複雑度を減少させるためである。非分離二次変換結果、（順方向基準）出力係数の個数が入力係数の個数よりも減少するという点で、このような非分離二次変換は、ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることがある。

【0231】

８個の出力係数は、対角スキャン順序によって４×４出力ブロックの左上端領域（網掛け領域）に配置されることができる。そして、４×４出力ブロックにおける、出力係数が満たされていない残りの領域は、０値で満たされることができる（すなわち、ゼロアウト（ｚｅｒｏ ｏｕｔ））。この場合、ゼロアウト領域は４×４出力ブロックの右下端領域となる。

【0232】

次に、図１４ｂの（ａ）を参照すると、非分離二次変換は、８×４入力ブロックの左側４×４領域に対してのみ適用できる。これは、非分離二次変換が４×４又は８×８領域単位で行われるためである。

【0233】

具体的に、左側４×４領域の１６個の（一次）変換係数に対して１６×１６非分離二次変換行列が適用されることにより、１６個の（二次）変換係数が生成できる。１６×１６行列が用いられるのは、最悪の場合に乗算複雑度を減少させるためである。

【0234】

１６個の出力係数は、対角スキャン順序によって８×４出力ブロックの左側４×４領域（網掛け領域）に配置されることができる。非分離二次変換の対象領域（すなわち、左側４×４領域）が出力係数によって全て満たされるので、ゼロアウトは行われないことがある。そして、８×４出力ブロックにおける、非分離二次変換が適用されていない残りの領域には、（一次）変換係数がそのまま存在する。

【0235】

図１４ｂの（ｂ）を参照すると、非分離二次変換は、４×８入力ブロックの上側４×４領域に対してのみ適用されることができる。図１４ｂの（ａ）と同様に、これは、非分離二次変換が４×４又は８×８領域単位で行われるためである。

【0236】

具体的に、上側４×４領域の１６個の（一次）変換係数に対して１６×１６非分離二次変換行列が適用されることにより、１６個の（二次）変換係数が生成されることができる。

【0237】

１６個の出力係数は、対角スキャン順序によって４×８出力ブロックの上側４×４領域（網掛け領域）に配置されることができる。非分離二次変換の対象領域（すなわち、上側４×４領域）が出力係数によって全て満たされるので、ゼロアウトは行われないことがある。そして、４×８出力ブロックにおける、非分離二次変換が適用されていない残りの領域には、（一次）変換係数がそのまま存在する。

【0238】

次に、図１４ｃを参照すると、非分離二次変換は、８×８入力ブロック全体に対して適用できる。

【0239】

具体的に、８×８入力ブロックの４８個の（一次）変換係数に対して４８×８非分離二次変換行列が適用されることにより、８個の（二次）変換係数が生成されることができる。４８×８行列が用いられるのは、最悪の場合に乗算複雑度を減少させるためである。順方向非分離二次変換は、入力ベクトルとして４８×１又は１６×１ベクトルを用いる関係であって、８×８入力ブロックの左上端の４×４領域、右上端の４×４領域及び左下端の４×４領域の（一次）変換係数のみが非分離二次変換の入力値として用いられることができる。言い換えれば、８×８入力ブロックの右下端の４×４領域の（一次）変換係数は、非分離二次変換の入力値として用いられなくなる。

【0240】

８個の出力係数は、対角スキャン順序によって８×８出力ブロックの左上端領域（網掛け領域）に配置されることができる。そして、８×８出力ブロックにおける、出力係数が満たされていない残りの領域は、０値で満たされることができる。このとき、８×８出力ブロックの右下端の４×４領域は、非分離二次変換の入力値として用いられていないので、当該領域に対するゼロアウトは行われず、（一次）変換係数がそのまま存在する。

【0241】

次に、図１４ｄの（ａ）を参照すると、非分離二次変換は、１６×８入力ブロックの左側８×８領域に対してのみ適用できる。これは、非分離二次変換が４×４又は８×８領域単位で行われるためである。

【0242】

具体的に、左側８×８領域の４８個の（一次）変換係数に対して４８×１６非分離二次変換行列が適用されることにより、１６個の（二次）変換係数が生成されることができる。４８×１６行列が用いられるのは、最悪の場合に乗算複雑度を減少させるためである。順方向非分離二次変換は、入力ベクトルとして４８×１又は１６×１ベクトルを用いるので、左側８×８領域の右下端４×４領域の（一次）変換係数は、非分離二次変換の入力値として用いられなくなる。

【0243】

１６個の出力係数は、対角スキャン順序によって１６×８出力ブロックの左上端の４×４領域（網掛け領域）に配置されることができる。そして、１６×８出力ブロックにおける、出力係数が満たされていない残りの領域は、０値で満たされることができる。このとき、左側８×８領域の右下端４×４領域は、非分離二次変換の入力値として用いられていないので、当該領域に対するゼロアウトは行われず、（一次）変換係数がそのまま存在する。

【0244】

図１４ｄの（ｂ）を参照すると、非分離二次変換は、８×１６入力ブロックの上側８×８領域に対してのみ適用できる。図１４ｄの（ａ）と同様に、これは、非分離二次変換が４×４又は８×８領域単位で行われるためである。

【0245】

具体的に、上側８×８領域の４８個の（一次）変換係数に対して４８×１６非分離二次変換行列が適用されることにより、１６個の（二次）変換係数が生成されることができる。４８×１６行列が用いられるのは、最悪の場合に乗算複雑度を減少させるためである。順方向非分離二次変換は、入力ベクトルとして４８×１又は１６×１ベクトルを用いるので、上側８×８領域の右下端の４×４領域の（一次）変換係数は、非分離二次変換の入力値として用いられなくなる。

【0246】

１６個の出力係数は、対角スキャン順序によって８×１６出力ブロックの左上端の４×４領域（網掛け領域）に配置されることができる。そして、８×１６出力ブロックにおける、出力係数が満たされていない残りの領域は、０値で満たされることができる。このとき、上側８×８領域の右下端の４×４領域は、非分離二次変換の入力値として用いられていないので、当該領域に対するゼロアウトは行われず、（一次）変換係数がそのまま存在する。

【0247】

以上、図１４ａ乃至図１４ｄを参照して前述したように、非分離二次変換は、入力ブロックの左上端領域に対してのみ適用できる。また、ゼロアウト領域は、非分離二次変換が実際に適用された領域のうち、（二次）変換係数が満たされていない領域に制限できる。

【0248】

図１５ａ乃至図１５ｄは、本開示の一実施例による非分離一次変換過程を説明するための図である。

【0249】

図１５ａ乃至図１５ｄは、エンコーダ段における非分離一次変換、すなわち順方向非分離一次変換過程を示す。

【0250】

図１５ａは、入力ブロックのサイズが４×４である場合を示し、図１５ｂは、入力ブロックのサイズが８×４又は４×８である場合を示す。また、図１５ｃは、入力ブロックのサイズが８×８である場合を示し、図１５ｄは、入力ブロックのサイズが１６×８又は８×１６である場合を示す。

【0251】

図１５ａ乃至図１５ｄにおいて、太線で表示された領域は、非分離一次変換が適用される領域を示す。

【0252】

まず、図１５ａを参照すると、非分離一次変換は、４×４入力ブロック全体に対して適用できる。具体的には、４×４入力ブロックの１６個のレジデュアルサンプルに対して１６×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。

【0253】

次に、図１５ｂの（ａ）を参照すると、非分離一次変換は、８×４入力ブロック全体に対して適用できる。具体的に、８×４入力ブロックの３２個のレジデュアルサンプルに対して３２×３２非分離一次変換行列が適用されることにより、３２個の（一次）変換係数が生成されることができる。また、図１５ｂの（ｂ）を参照すると、非分離一次変換は、４×８入力ブロック全体に対して適用できる。具体的に、４×８入力ブロックの３２個のレジデュアルサンプルに対して３２×３２非分離一次変換行列が適用されることにより、３２個の（一次）変換係数が生成されることができる。

【0254】

次に、図１５ｃを参照すると、非分離一次変換は、８×８入力ブロック全体に対して適用できる。具体的に、８×８入力ブロックの６４個のレジデュアルサンプルに対して６４×６４非分離一次変換行列が適用されることにより、６４個の（一次）変換係数が生成されることができる。

【0255】

次に、図１５ｄの（ａ）を参照すると、非分離一次変換は、１６×８入力ブロック全体に対して適用できる。具体的に、１６×８入力ブロックの１２８個のレジデュアルサンプルに対して１２８×１２８非分離一次変換行列が適用されることにより、１２８個の（一次）変換係数が生成されることができる。また、図１５ｄの（ｂ）を参照すると、非分離一次変換は、８×１６入力ブロック全体に対して適用できる。具体的に、８×１６入力ブロックの１２８個のレジデュアルサンプルに対して１２８×１２８非分離一次変換行列が適用されることにより、１２８個の（一次）変換係数が生成されることができる。

【0256】

このように、本開示の実施例による非分離一次変換は、入力ブロックの全体領域に対して適用できる。また、非分離一次変換によって入力ブロック内の全てのレジデュアルサンプルが（一次）変換されるので、ゼロアウトは行われなくなる。この点で、非分離一次変換は、非分離二次変換とは異なる特徴を有する。

【0257】

一方、図１５ａ乃至図１５ｄは、非分離一次変換の入力サンプルの個数と出力係数の個数とが同一である場合を示す。しかし、実施例によっては、非分離一次変換の出力係数の個数が入力サンプルの個数よりも小さくなるＲＴ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）形態の非分離一次変換が適用されてもよい。

【0258】

図１６ａ乃至図１６ｄは、本開示の他の実施例による非分離一次変換過程を説明するための図である。非分離一次変換が入力ブロック全体に対して適用されるという点で、図１６ａ乃至図１６ｄの非分離一次変換は、図１５ａ乃至図１５ｄの場合と同様である。以下、重複説明は省略し、両者の相違点を中心に説明する。

【0259】

まず、図１６ａを参照すると、４×４入力ブロックの１６個のレジデュアルサンプルに対して１６×８非分離一次変換行列が適用されることにより、８個の（一次）変換係数が生成されることができる。非分離一次変換結果、（順方向基準）出力係数の個数が入力サンプルの個数よりも減少するという点で、このような非分離一次変換は、ＲＰＴ（ｒｅｄｕｃｅｄ ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）又はＲＣＴ（ｒｅｄｕｃｅｄ ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることがある。

【0260】

８個の出力係数は、対角スキャン順序によって４×４出力ブロックの左上端領域（網掛け領域）に配置されることができる。そして、４×４出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる（すなわち、ゼロアウト（ｚｅｒｏ ｏｕｔ））。これにより、全てのレジデュアルサンプル値は修正できる。

【0261】

次に、図１６ｂの（ａ）を参照すると、８×４入力ブロックの３２個のレジデュアルサンプルに対して３２×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。１６個の出力係数は、対角スキャン順序によって８×４出力ブロックの左側４×４領域（網掛け領域）に配置されることができる。そして、８×８出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる。これにより、全てのレジデュアルサンプル値は修正できる。

【0262】

図１６ｂの（ｂ）を参照すると、４×８入力ブロックの３２個のレジデュアルサンプルに対して３２×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。１６個の出力係数は、対角スキャン順序によって４×８出力ブロックの上側４×４領域（網掛け領域）に配置されることができる。そして、８×８出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる。これにより、全てのレジデュアルサンプル値は修正できる。

【0263】

次に、図１６ｃを参照すると、８×８入力ブロックの６４個のレジデュアルサンプルに対して６４×８非分離一次変換行列が適用されることにより、８個の（一次）変換係数が生成されることができる。８個の出力係数は、対角スキャン順序によって８×８出力ブロックの左上端領域（網掛け領域）に配置されることができる。そして、８×８出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる。これにより、全てのレジデュアルサンプル値は修正できる。

【0264】

次に、図１６ｄの（ａ）を参照すると、１６×８入力ブロックの１２８個のレジデュアルサンプルに対して１２８×１６非分離二次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。１６個の出力係数は、対角スキャン順序によって１６×８出力ブロックの左上端の４×４領域（網掛け領域）に配置されることができる。そして、１６×８出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる。これにより、全てのレジデュアルサンプル値は修正できる。

【0265】

図１６ｄの（ｂ）を参照すると、８×１６入力ブロックの１２８個のレジデュアルサンプルに対して１２８×１６非分離二次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。１６個の出力係数は、対角スキャン順序によって１６×８出力ブロックの左上端の４×４領域（網掛け領域）に配置されることができる。そして、１６×８出力ブロックにおける、出力係数が満たされていない残りの全ての領域は、０値で満たされることができる。これにより、全てのレジデュアルサンプル値は修正できる。

【0266】

このように、本開示の実施例による非分離一次変換は、入力ブロックの全体領域に対して適用できる。また、出力ブロック内の（一次）変換係数が満たされていない残りの全ての領域に対してゼロアウトが行われることができる。これにより、非分離一次変換の全ての入力値（すなわち、レジデュアルサンプル値）は修正できる。この点で、非分離一次変換は、非分離二次変換とは異なる特徴を有する。

【0267】

図１７は、本開示の一実施例による変換方法を示すフローチャートである。

【0268】

図１７の変換方法は、図２の画像符号化装置によって行われ得る。例えば、ステップＳ１７１０乃至ステップＳ１７３０は、変換部１２０によって行われることができる。

【0269】

図１７を参照すると、画像符号化装置は、レジデュアルサンプルに対して非分離一次変換を適用することにより、（一次）変換係数を生成することができる（Ｓ１７１０）。非分離一次変換によってレジデュアルブロック内の全てのレジデュアルサンプルが修正できる。一実施例において、非分離一次変換は、出力係数の個数が入力サンプルの個数よりも小さいＲＴ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）形態を有することができる。この場合、出力係数が生成されていない全ての領域に対してゼロアウトが行われることができる。

【0270】

画像符号化装置は、（一次）変換係数に対して二次変換を適用するか否かを決定することができる（Ｓ１７２０）。二次変換は、非分離二次変換、例えば、ＮＳＳＴ又はＲＳＴであってもよい。一実施例において、画像符号化装置は、一次変換されたレジデュアル変換係数に基づいて、二次変換が適用されるか否かを決定することができる。例えば、二次変換適用対象領域に含まれた非ゼロレジデュアル変換係数の個数が所定のしきい値以上である場合、画像符号化装置は二次変換が適用されると決定することができる。これとは異なり、二次変換適用対象領域に含まれた非ゼロレジデュアル変換係数の個数が所定のしきい値未満である場合、画像符号化装置は二次変換が適用されていないと決定することができる。二次変換が適用されるか否かに関する情報は、所定のシンタックス要素（例えば、ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｌｆｎｓｔ＿ｉｄｘなど）として符号化できる。

【0271】

二次変換が適用されると決定された場合（Ｓ１７２０の「ＹＥＳ」）、画像符号化装置は、（一次）変換係数に対して二次変換を適用して（二次）変換係数を生成することができる（Ｓ１７３０）。この場合、（二次）変換係数に基づいてビットストリームが生成されることができる。

【0272】

これとは異なり、二次変換が適用されていないと決定された場合（Ｓ１７２０の「ＮＯ」）、画像符号化装置は、（一次）変換係数に対して二次変換を行わなくてもよい。この場合、（一次）変換係数に基づいてビットストリームが生成されることができる。

【0273】

図１８は、本開示の一実施例による逆変換方法を示すフローチャートである。

【0274】

図１８の逆変換方法は、図２の画像符号化装置又は図３の画像復号化装置によって行われ得る。例えば、ステップＳ１８１０乃至ステップＳ１８３０は、図２の逆変換部１５０又は図３の逆変換部２３０によって行われ得る。以下、説明の便宜のために、画像復号化装置を基準に説明する。

【0275】

図１８を参照すると、画像復号化装置は、ビットストリームから取得された変換係数に対して二次逆変換を適用するか否かを決定することができる（Ｓ１８１０）。二次逆変換は、非分離二次逆変換、例えばＮＳＳＴ又はＲＳＴであり得る。一実施例において、画像復号化装置は、ビットストリームから取得される所定のシンタックス要素（例えば、ｓｐｓ＿ｌｆｎｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｌｆｎｓｔ＿ｉｄｘなど）に基づいて、二次逆変換を適用するか否かを決定することができる。例えば、ｌｆｎｓｔ＿ｉｄｘが第１値（例えば、０）を有する場合、画像復号化装置は、二次逆変換が適用されないと決定することができる。これとは異なり、ｌｆｎｓｔ＿ｉｄｘが第１値（例えば、０）とは異なる値を有する場合、画像復号化装置は、二次逆変換が適用されると決定することができる。

【0276】

二次逆変換が適用されると決定された場合（Ｓ１８１０の「ＹＥＳ）、画像復号化装置は、ビットストリームから取得された変換係数に対して二次逆変換を適用して（一次）変換係数を生成することができる（Ｓ１８２０）。この場合、ビットストリームから取得された変換係数は、（二次）変換係数に対応することができる。

【0277】

これとは異なり、二次逆変換が適用されないと決定された場合（Ｓ１８１０の「ＮＯ」）、画像復号化装置は、ビットストリームから取得された変換係数に対して二次逆変換を行わなくてもよい。この場合、ビットストリームから取得された変換係数は、（一次）変換係数に対応することができる。

【0278】

画像復号化装置は、（一次）変換係数に対して非分離一次逆変換を適用してレジデュアルサンプルを生成することができる（Ｓ１８３０）。非分離一次逆変換によって全ての（一次）変換係数が修正できる。一実施例において、非分離一次逆変換は、出力係数の個数が入力係数の個数よりも大きいＲＴ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）形態を有することができる。

【0279】

サブブロック基盤の非分離一次変換

【0280】

一実施例において、相対的に大きい入力ブロックに対して当該ブロックの幅と高さに合う非分離一次変換を適用せず、当該ブロックをサブブロックに分割した後、それぞれのサブブロックの幅と高さに合う非分離変換行列を用いて非分離一次変換を適用することができる。例えば、４×８ブロックに対して非分離一次変換を適用する場合、４×８ブロックを空間領域で２個の４×４サブブロックに水平分割し、それぞれの４×４サブブロックに対して４×４ブロック単位の非分離一次変換を適用することができる。又は、１６×８ブロックに対して非分離一次変換を適用する場合、１６×８ブロックを空間領域で２個の８×８サブブロックに垂直分割し、それぞれの８×８サブブロックに対して８×８ブロック単位の非分離一次変換を適用することができる。

【0281】

図１９は、本開示の一実施例によるサブブロックの非分離一次変換／逆変換方法を示すフローチャートである。

【0282】

図１９の変換方法は、図２の画像符号化装置によって行われ得る。例えば、ステップＳ１９１０乃至ステップＳ１９３０は、変換部１２０によって行われ得る。また、図１９の逆変換方法は、図２の画像符号化装置又は図３の画像復号化装置によって行われ得る。例えば、ステップＳ１９１０乃至ステップＳ１９３０は、図２の逆変換部１５０又は図３の逆変換部２３０によって行われ得る。

【0283】

図１９を参照すると、画像符号化／復号化装置は、所定のサブブロック変換／逆変換条件が満たされるか否かを決定することができる（Ｓ１９１０）。一実施例において、画像符号化／復号化装置は、入力ブロックのサイズを所定のしきい値と比較した結果に基づいて、サブブロック変換／逆変換条件を満たすか否かを決定することができる。ここで、しきい値は、サイズ４×４の第１しきい値及びサイズ８×８の第２しきい値を含むことができる。具体的に、入力ブロックのサイズが第１しきい値より大きく且つ第２しきい値より小さい場合、画像符号化／復号化装置は、サブブロック変換／逆変換条件が満たされると決定することができる。また、入力ブロックのサイズが第２しきい値より大きい場合、画像符号化／復号化装置は、サブブロック変換／逆変換条件が満たされると決定することができる。

【0284】

サブブロック変換条件が満たされる場合（Ｓ１９１０の「ＹＥＳ」）、画像符号化／復号化装置は、入力ブロックを分割して複数のサブブロックを取得することができる（Ｓ１９２０）。例えば、画像符号化／復号化装置は、８×４ブロックを垂直分割して２個の４×４サブブロックを取得することができる。或いは、画像符号化／復号化装置は、８×１６ブロックを水平分割して２個の８×８サブブロックを取得することができる。

【0285】

これとは異なり、サブブロック変換条件が満たされない場合（Ｓ１９１０の「ＮＯ」）、画像符号化／復号化装置は、入力ブロックを分割しないことを決定し、ステップＳ１９３０へ移行することができる。

【0286】

そして、画像符号化／復号化装置は、入力ブロック又はそれぞれのサブブロックに対して非分離一次変換／逆変換を適用することができる（Ｓ１９３０）。入力ブロック全体に対して非分離一次変換／逆変換を適用する場合、非分離変換行列は、入力ブロックの幅及び高さを基準に決定されることができる。これとは異なり、それぞれのサブブロックに対して非分離一次変換／逆変換を適用する場合、非分離変換行列は、それぞれのサブブロックの幅及び高さを基準に決定されることができる。

【0287】

図２０ａ及び図２０ｂは、サブブロック基盤の非分離一次変換過程を説明するための図である。

【0288】

図２０ａ及び図２０ｂは、エンコーダ段における非分離一次変換、すなわち順方向非分離一次変換過程を示す。

【0289】

図２０ａは、入力ブロックのサイズが８×４又は４×８である場合を示し、図２０ｂは、入力ブロックのサイズが１６×８又は８×１６である場合を示す。

【0290】

図２０ａ及び図２０ｂにおいて、太線で表示された領域は、非分離一次変換が適用される領域を示す。

【0291】

まず、図２０ａの（ａ）を参照すると、８×４入力ブロックは、２個の４×４サブブロックＳｂ１、Ｓｂ２に分割されることができる。そして、それぞれのサブブロックＳｂ１、Ｓｂ２に対して４×４非分離一次変換が適用されることができる。具体的に、第１サブブロックＳｂ１に対して１６×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。また、第２サブブロックＳｂ２に対して１６×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。

【0292】

図２０ａの（ｂ）を参照すると、４×８入力ブロックは、２個の４×４サブブロックＳｂ３、Ｓｂ４に分割されることができる。そして、それぞれのサブブロックＳｂ３、Ｓｂ４に対して４×４非分離一次変換が適用されることができる。具体的に、第３サブブロックＳｂ３に対して１６×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。また、第４サブブロックＳｂ４に対して１６×１６非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。

【0293】

次に、図２０ｂの（ａ）を参照すると、１６×８入力ブロックは、２個の８×８サブブロックＳｂ１、Ｓｂ２に分割されることができる。そして、それぞれのサブブロックＳｂ１、Ｓｂ２に対して８×８非分離一次変換が適用されることができる。具体的に、第１サブブロックＳｂ１に対して６４×６４非分離一次変換行列が適用されることにより、６４個の（一次）変換係数が生成されることができる。また、第２サブブロックＳｂ２に対して６４×６４非分離一次変換行列が適用されることにより、６４個の（一次）変換係数が生成されることができる。

【0294】

図２０ｂの（ｂ）を参照すると、８×１６入力ブロックは、２個の８×８サブブロックＳｂ３、Ｓｂ４に分割されることができる。そして、それぞれのサブブロックＳｂ３、Ｓｂ４に対して８×８非分離一次変換が適用されることができる。具体的に、第３サブブロックＳｂ３に対して６４×６４非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。また、第４サブブロックＳｂ４に対して６４×６４非分離一次変換行列が適用されることにより、１６個の（一次）変換係数が生成されることができる。

【0295】

一方、実施例によって、それぞれのサブブロックに対して異なる非分離一次変換行列が適用されることもできる。例えば、図２ａにおいて、第１サブブロックＳｂ１に対しては、１６×１６非分離一次変換行列が適用され、第２サブブロックＳｂ２に対しては１６×８非分離一次変換行列が適用されてもよい。この場合、第２サブブロックＳｂ２における、（一次）変換係数が生成されていない領域は、０値で満たされることができる（すなわち、ゼロアウト（ｚｅｒｏ ｏｕｔ））。

【0296】

非分離一次変換セット及びカーネル決定方法

【0297】

本開示の実施例によれば、非分離一次変換セット及び／又はカーネルは、予測モード（例えば、イントラ予測モード、インター予測モードなど）、入力ブロックの幅／高さ、入力ブロックのピクセル数、入力ブロック内のサブブロックの位置、明示的にシグナリングされたシンタックス要素、周辺ピクセルの統計的特性、二次変換適用有無又は量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）のうちの少なくとも一つに基づいて多様に構成できる。

【0298】

一実施例において、現在ブロックの予測モードがイントラ予測モードである場合、イントラ予測モードをＮ個のセットにグループ化し、各セット内にｋ個の変換カーネルが含まれるように構成できる。このとき、イントラ予測モードの個数及びグループ化方法は、実施例によって多様に変更できる。

【0299】

以下、本開示の一実施例によるイントラ予測モードに基づいて非分離一次変換セットを決定する方法を詳細に説明する。

【0300】

図２１乃至図２４は、本開示の一実施例による非分離一次変換セット決定方法を説明するための図である。

【0301】

イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）イントラ予測モードとを含むことができる。非方向性イントラ予測モードは、０番であるＰｌａｎａｒイントラ予測モード、及び１番であるＤＣイントラ予測モードを含むことができ、方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。但し、これは例示であって、本開示の実施例はこれに限定されるものではない。

【0302】

広角イントラ予測（ｗｉｄｅ ａｎｇｌｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＷＡＩＰ）が適用されることにより、方向性イントラ予測モードは、－１４番～１番のイントラ予測モードと６７番～８０番のイントラ予測モードをさらに含むことができる。図２２は、ＷＡＩＰを考慮して拡張されたイントラ予測モード及びその予測方向を例示的に示す。

【0303】

図２１を参照すると、－１４番～－１番及び２番～３３番のモードと３５番～８０番のモードは、３４番モードを中心に予測方向の観点で対称である。例えば、１０番モードと５８番モードは、３４番モードに該当する方向を中心に対称であり、－１番モードは、６７番モードと対称をなす。このため、本開示の一実施例によれば、一次変換のための変換セットを構成するにあたり、３４番モードを中心に対称となる垂直方向モードに対しては入力データを転置して使用することができる。ここで、入力データを転置するというのは、二次元ブロックデータＭ×Ｎに対して行が列となり、列が行となってＮ×Ｍデータを構成することを意味することができる。

【0304】

一例において、４×４ブロックが入力データとして使用される場合、非分離一次変換のために、４×４領域を構成する１６個のデータを適切に配列して１６×１ベクトルを構成することができるが、１６×１ベクトルは、図２２ａのように行優先方向の順序で構成されることができる。これは、順方向非分離一次変換のために、二次元データが一次元に配列されるときの順序を意味することができる。また、これは、逆方向非分離一次変換によって生成された変換係数が二次元に配列されるときの順序を意味することもできる。

【0305】

一方、前述したように、方向性モード－１４番～－１番及び２番～８０番は、３４番モードを中心に対称的に構成されている。したがって、－１４番～－１番及び２番～３３番モードに対して１６×１入力ベクトルを構成するためのデータ配列順序が列優先方向の順序である場合、３５番～８０番モードに対しては、図２２ｂのような順に入力ベクトルが構成されることができる。図２３ｂのデータ配列順序は列優先方向の順序である。これは、順方向非分離一次変換のために、二次元データが一次元に配列されるときの順序を意味することができる。また、これは、逆方向非分離一次変換によって生成された変換係数が二次元に配列されるときの順序を意味することもできる。

【0306】

一方、３４番モードは、厳密には、水平方向性でも垂直方向性でもないと見做すことができるが、本開示のデータ配列方式の観点からは、水平方向性に属すると分類する。すなわち、－１４番～－１番及び２番～３３番モードに対しては、水平方向モードに対する入力データ整列方式、すなわち行優先整列を使用し、３４番モードを中心に対称となる垂直方向モードに対して入力データを転置して使用することができる。

【0307】

一方、非正方形ブロックの場合、正方向ブロックにおける対称性（すなわち、Ｎ×Ｎブロックにおける、Ｐ番モードと６８－Ｐ番モード（２≦Ｐ≦３３）との対称性又はＱ番モードと６６－Ｑ番モード（－１４≦Ｑ≦－１）との対称性）を活用することができない。したがって、本発明の他の実施例によれば、上述したイントラ予測モードのみを基準とした対称性を活用する代わりに、互いに転置関係にあるブロック形態間の対称性、すなわち、Ｋ×ＬブロックとＬ×Ｋブロックとの対称性をイントラ予測モードと共に活用することができる。

【0308】

具体的に、図２３を参照すると、Ｐ番モードと予測されるＫ×Ｌブロックと、６８－Ｐ番モードと予測されるＬ×Ｋブロック（２≦Ｐ≦３３）との間に対称関係が存在することができる。また、Ｑ番モードと予測されるＫ×Ｌブロックと、６６－Ｑ番モードと予測されるＬ×Ｋブロック（－１４≦Ｑ≦－１）との間に対称関係が存在することができる。

【0309】

例えば、図２４に示すように、２番モードを有するＫ×Ｌブロックと、６６番モードを有するＬ×Ｌブロックとは、互いに対称をなしており、その結果、両ブロックに対して同一の変換カーネルを適用することができる。もし、Ｋ×Ｌブロックを基準にイントラ予測モードに対する変換セットがマッピングされているとしたとき（すなわち、予測モードごとにどの変換セットを適用するかに対するテーブルが存在する場合）、Ｌ×Ｋブロックに変換を適用するためには、Ｌ×Ｋブロックに適用されるＰ番モードの代わりに、６８－Ｐ番モードを（２≦Ｐ≦３３）有し（又は、Ｌ×Ｋブロックに適用されるＱ番モードの代わりに６６－Ｑ番モードを（－１４≦Ｑ≦－１）有し）、Ｋ×Ｌブロック基準のマッピングテーブルを介して変換セットを取得することができる。これにより、図２５の例において、Ｌ×Ｋブロックに変換を適用するために、６６番モードの代わりに２番モードを基準に変換セットを選択することができる。また、Ｋ×Ｌブロックに対しては、入力データを所定の順序に従って（例えば、行優先順序、列優先順序）スキャンして一次元ベクトルを構成した後、順方向非分離一次変換を適用することができる。また、Ｌ×Ｋブロックに対しては、入力データを転置順序に従ってスキャンして（すなわち、Ｋ×Ｌブロックに対して行優先順序でスキャンした場合、列優先順序でスキャンし、Ｋ×Ｌブロックに対して列優先順序でスキャンした場合、行優先順序でスキャンする）一次元ベクトルを構成した後、順方向非分離一次変換を適用することができる。

【0310】

一方、図２１のイントラ予測モードは、例示的なものなので、これとは異なる方式で、イントラ予測モードが設定された場合でも、上述したイントラ予測モード及び／又はブロック間の対称性に基づいて、非分離一次変換を適用することができる。また、３４番モードの場合、Ｋ×Ｌブロックに適用されるときは、Ｋ×Ｌブロックを基準に３４番モードを用いて変換セットを決定し、入力データを所定の順序によってスキャンして一次元ベクトルを構成した後、当該非分離一次変換を適用することができる。同様に、Ｌ×Ｋブロックに適用されるときは、同様に３４番モードを用いて変換セットを決定し、入力データを転置順序によってスキャンして一次元ベクトルを構成した後、当該非分離一次変換を適用することができる。

【0311】

以上、Ｋ×Ｌブロックを基準にしてイントラ予測モードを介して変換セットを導出し、入力データを構成する方式を説明したが、Ｌ×Ｋブロックを基準に入力データを構成することも可能であり、この場合、Ｋ×Ｌブロックに対しては、上述した対称性を同一に活用して当該非分離一次変換を適用することができる。また、Ｋ×Ｌブロックが基準となる場合には、いつもＫ＞Ｌの関係を満たすように構成することもできる。また、逆方向非分離一次変換を適用する場合には、上述したＫ×ＬブロックとＬ×Ｋブロックとの対称性を同一に活用して変換セットを決定し、逆方向変換を介して導出された一次元出力データを二次元ブロックに配置することができる。一方、非正方形ブロックの場合、対称性を活用せずに、正方形ブロックの場合とは異なる個数の変換セットを使用することもでき、正方形ブロックの場合とは異なるマッピングテーブルを用いて変換セットを選択することもできる。

【0312】

変換セット選択のためのマッピングテーブルの具体的な例は、表１２乃至表１４の通りである。

【0313】

【表12】

【0314】

表１２は、５個の変換セットが存在するとき、イントラ予測モードに対して各変換セットを割り当てる方法を例示的に示す。表１２において、ｐｒｅｄＭｏｄｅＩｎｔｒａ値は、ＷＡＩＰを考慮して変更されたイントラ予測モード値を意味し、ＴｒＳｅｔＩｄｘは、特定の非分離一次変換セットを示すインデックス値を意味する。

【0315】

表１２を参照すると、イントラ予測モードによって、互いに対称となる方向に位置するモードに対して同一の非分離一次変換セットが適用されることを確認することができる。一方、５個の変換セットを用いる表１２のマッピングテーブルは一例に過ぎないので、本開示の実施例はこれに限定されるものではない。例えば、表１２とは異なり、６個以上の変換セットを用いてマッピングテーブルが構成されてもよい。

【0316】

表１２の別の例として、圧縮性能を向上させるために、ＷＡＩＰに対しては非分離一次変換を適用しないか（表１３の場合）、ＷＡＩＰのために別途の変換セットを構成せず、ＷＡＩＰに対しては、隣接したイントラ予測モードにマッピングされた変換セットを同一に使用するようにマッピングテーブルが構成されることもできる（表１４の場合）。

【0317】

【表13】

【0318】

【表14】

【0319】

一方、一実施例において、非分離一次変換のための変換セットの個数及び各セット内の変換カーネルの個数は、（入力）ブロックの幅及び／又は高さに基づいて、異なるように決定されることができる。例えば、４×４ブロックに対しては、ｎ_１個の変換セットと各セット内のｋ_１個の変換カーネルが構成されることができる。これとは異なり、４×８ブロックに対しては、ｎ_２個の変換セットと各セット内のｋ_２個の変換カーネルが構成されることができる。

【0320】

一実施例において、非分離一次変換のための変換セットの個数及び各セット内の変換カーネルの個数は、（入力）ブロックの幅及び高さの積に基づいて、異なるように決定されることができる。例えば、（入力）ブロックの幅及び高さの積が２５６以上（又は、超過）である場合、ｎ_３個の変換セットと各セット内のｋ_３個の変換カーネルが構成されることができる。そして、それ以外の場合には、ｎ_４個の変換セットと各セット内のｋ_４個の変換カーネルが構成されることができる。

【0321】

一実施例において、非分離一次変換のための変換セットの個数及び各セット内の変換カーネルの個数は、現在変換ブロックに含まれたそれぞれのサブブロックの位置に応じて異なるように決定されることができる。例えば、４×８又は８×４ブロックが二つの４×４サブブロックに分割され、各サブブロックに非分離一次変換が適用される場合、左上端の４×４サブブロックに適用される非分離一次変換のために、ｎ_５個の変換セットと各セット内のｋ_５個の変換カーネルが構成されることができる。これとは異なり、残りの４×４サブブロックに適用される非分離一次変換のためには、ｎ_６個の変換セットと各セット内のｋ_６個の変換カーネルが構成されることができる。

【0322】

一実施例において、非分離一次変換に関する情報を示す所定のシンタックス要素が明示的にシグナリングされることもできる。例えば、３種類の非分離一次変換構成が支援される場合（例えば、ｎ_７個の変換セットと各セット内のｋ_７個の変換カーネル、ｎ_８個の変換セットと各セット内のｋ_８個の変換カーネル、ｎ_９個の変換セットと各セット内のｋ_９個の変換カーネル）、当該シンタックス要素は０、１、２のうちのいずれか一つの値を有することができる。このとき、互いに異なる値の当該シンタックス要素は、互いに異なる非分離一次変換構成を示すことができる。

【0323】

一実施例において、非分離一次変換の構成は、二次変換／逆変換が適用されるか否か及び／又は当該二次変換／逆変換の種類に基づいて、異なるように決定されることができる。例えば、二次変換が適用されない場合、非分離一次変換のために、ｎ_１０個の変換セットと各セット内のｋ_１０個の変換カーネルが構成されることができる。これとは異なり、二次変換が適用される場合、ｎ_１１個の変換セットと各セット内のｋ_１１個の変換カーネルが構成されることができる。

【0324】

一実施例において、非分離一次変換の構成は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）値及び／又はＱＰ値の範囲に基づいて、異なるように決定されることができる。例えば、ＱＰ値が相対的に小さい場合と大きい場合に区分して、それぞれｎ_１２個の変換セットと各セット内のｋ_１２個の変換カーネルを含む第１構成、及びｎ_１３個の変換セットと各セット内のｋ_１３個の変換カーネルを含む第２構成が適用されることができる。このとき、ＱＰ値の大きさの判断は、所定のしきい値（例えば、３２）に基づいて行われることができる。例えば、ＱＰ値が３２以下である場合（又は、未満である場合）、当該ＱＰ値は、相対的に小さいと分類されることができる。これとは異なり、ＱＰ値が３２を超える場合（又は、以上である場合）、当該ＱＰ値は相対的に大きいと分類されることができる。実施例によって、ＱＰ値の範囲を３つ以上の範囲に分割して、各範囲に対してそれぞれ異なる構成を適用することも可能である。

【0325】

以下、図２５及び図２６を参照して、本開示の一実施例による画像符号化／復号化方法について詳細に説明する。

【0326】

図２５は、本開示の一実施例による画像符号化方法を示すフローチャートである。

【0327】

図２５の画像符号化方法は、図２の画像符号化装置によって行われることができる。例えば、ステップＳ２５１０及びステップＳ２５２０は、変換部１２０によって行われることができる。

【0328】

図２５を参照すると、画像符号化装置は、所定の非分離一次変換行列に基づいて現在ブロックに対して変換を行うことにより、前記現在ブロックの変換係数ブロックを生成することができる（Ｓ２５１０）。

【0329】

一実施例において、前記変換は、多重変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づいて行われることができる。

【0330】

一実施例において、前記変換係数ブロックに対するゼロアウト（ｚｅｒｏ ｏｕｔ）は、前記非分離一次変換行列のサイズに基づいて選択的に行われることができる。例えば、前記非分離一次変換行列が正方形のサイズを有することに基づいて、前記ゼロアウトは行われなくてもよい。これとは異なり、前記非分離一次変換行列が非正方形のサイズを有することに基づいて、前記ゼロアウトは、前記レジデュアルブロック内の少なくとも一つのレジデュアルサンプルに対して行われてもよい。

【0331】

一実施例において、前記非分離一次変換行列は、所定の非分離変換セットから決定されることができる。この場合、前記非分離変換セットは、前記現在ブロックの予測モード、サイズ、ピクセル数、変換セット構成情報、二次変換が実行されるか否か、又は量子化パラメータのうちの少なくとも一つに基づいて異なるように構成されることができる。

【0332】

一実施例において、前記変換は、サブブロックに基づいて行われることができる。具体的に、画像符号化装置は、前記現在ブロックが所定のサブブロック変換条件を満たすか否かを決定し、前記サブブロック変換条件が満たされることに基づいて前記現在ブロックを分割して複数のサブブロックを取得することができる。画像符号化装置は、前記複数のサブブロックのそれぞれに対して前記変換を行うことができる。

【0333】

そして、画像符号化装置は、前記変換係数ブロックに基づいて前記現在ブロックを符号化することができる（Ｓ２５２０）。

【0334】

一実施例において、前記非分離一次変換行列は、前記現在ブロックのサイズを問わずに、前記現在ブロックの全てのレジデュアルサンプルに対して適用できる。

【0335】

図２６は、本開示の一実施例による画像復号化方法を示すフローチャートである。

【0336】

図２６の画像復号化方法は、図３の画像復号化装置によって行われることができる。例えば、ステップＳ２６１０及びステップＳ２６２０は、図３の逆変換部２３０によって行われることができる。

【0337】

図２６を参照すると、画像復号化装置は、所定の非分離一次変換行列に基づいて現在ブロックに対して逆変換を行うことにより、前記現在ブロックのレジデュアルブロックを生成することができる（Ｓ２６１０）。

【0338】

一実施例において、前記逆変換は、多重変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）に基づいて行われることができる。

【0339】

一実施例において、前記変換係数ブロックに対するゼロアウト（ｚｅｒｏ ｏｕｔ）は、前記非分離一次変換行列のサイズに基づいて選択的に行われることができる。例えば、前記非分離一次変換行列が正方形のサイズを有することに基づいて、前記ゼロアウトは行われなくてもよい。これとは異なり、前記非分離一次変換行列が非正方形のサイズを有することに基づいて、前記ゼロアウトは、前記レジデュアルブロック内の少なくとも一つのレジデュアルサンプルに対して行われることができる。

【0340】

一実施例において、前記非分離一次変換行列は、所定の非分離変換セットから決定されることができる。この場合、前記非分離変換セットは、前記現在ブロックの予測モード、サイズ、ピクセル数、変換セット構成情報、二次逆変換が実行されるか否か、又は量子化パラメータのうちの少なくとも一つに基づいて異なるように構成されることができる。

【0341】

一実施例において、前記変換は、サブブロックに基づいて行われることができる。具体的に、画像符号化装置は、前記現在ブロックが所定のサブブロック変換条件を満たすか否かを決定し、前記サブブロック変換条件が満たされることに基づいて前記現在ブロックを分割して複数のサブブロックを取得することができる。画像符号化装置は、前記複数のサブブロックのそれぞれに対して前記変換を行うことができる。このとき、前記サブブロック逆変換条件は、前記現在ブロックのサイズが第１しきい値より大きいか否かに関する第１条件、及び前記現在ブロックのサイズが第２しきい値より大きいか否かに関する第２条件を含むことができる。

【0342】

一実施例において、前記非分離一次変換行列は、イントラ予測モード及びブロック形態のうちの少なくとも一つにおいて前記現在ブロックとは対称性を有する第１ブロックに対する変換行列と同一の行列に決定されることができる。

【0343】

そして、画像復号化装置は、前記レジデュアルブロックに基づいて前記現在ブロックを復元することができる（Ｓ２６２０）。

【0344】

一実施例において、前記非分離一次変換行列は、前記現在ブロックのサイズを問わずに、前記現在ブロックの全ての変換係数に対して適用できる。

【0345】

以上、本開示の実施形態によれば、水平方向変換と垂直方向変換を分離しない非分離変換が一次変換として用いられることができる。これにより、変換／逆変換効率がより向上することができる。非分離一次変換は、入力ブロック全体に対して適用でき、入力ブロックの全てのサンプル／係数の値を変更させることができる。実施例によって、非分離一次変換はＲＴ（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）形態を有することができる。非分離一次変換のための変換セットマッピングテーブルは、イントラ予測モードの対称性に基づいて構成されることができる。この場合、非分離一次変換に用いられる変換セットは、イントラ予測モードの対称性及び／又はブロック形態間の対称性に基づいて前記マッピングテーブルから選択されることができる。

【0346】

本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて追加の他のステップを含むこともできる。

【0347】

本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。

【0348】

本開示の様々な実施例は、全ての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、二つ以上の組み合わせで適用されてもよい。

【0349】

また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。

【0350】

また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、三次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。

【0351】

図２７は、本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。

【0352】

図２７に示すように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。

【0353】

前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。

【0354】

前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。

【0355】

前記ストリーミングサーバは、Ｗｅｂサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。

【0356】

前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。

【0357】

前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。

【0358】

前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。

【0359】

本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

【産業上の利用可能性】

【0360】

本開示による実施例は、画像の符号化／復号化に利用可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14a】

【図14b】

【図14c】

【図14d】

【図15a】

【図15b】

【図15c】

【図15d】

【図16a】

【図16b】

【図16c】

【図16d】

【図17】

【図18】

【図19】

【図20a】

【図20b】

【図21】

【図22a】

【図22b】

【図23】

【図24】

【図25】

【図26】

【図27】

【国際調査報告】