(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024119967
(43)【公開日】2024-09-03
(54)【発明の名称】パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
(51)【国際特許分類】
H04N 19/11 20140101AFI20240827BHJP
H04N 19/157 20140101ALI20240827BHJP
H04N 19/176 20140101ALI20240827BHJP
H04N 19/186 20140101ALI20240827BHJP
H04N 19/70 20140101ALI20240827BHJP
H04N 19/136 20140101ALI20240827BHJP
【FI】
H04N19/11
H04N19/157
H04N19/176
H04N19/186
H04N19/70
H04N19/136
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2024095876
(22)【出願日】2024-06-13
(62)【分割の表示】P 2022504309の分割
【原出願日】2020-07-21
(31)【優先権主張番号】62/876,766
(32)【優先日】2019-07-21
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
【氏名又は名称原語表記】LG ELECTRONICS INC.
【住所又は居所原語表記】128, Yeoui-daero, Yeongdeungpo-gu, 07336 Seoul,Republic of Korea
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100159259
【弁理士】
【氏名又は名称】竹本 実
(72)【発明者】
【氏名】チャン ヒョン ムン
(57)【要約】 (修正有)
【課題】パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化/復号化方法及び装置を提供する。
【解決手段】画像復号化装置によって行われる画像復号化方法は、画像を分割して現在ブロックを決定するステップと、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得するステップと、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含む。
【選択図】
図25
【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、
画像を分割して現在ブロックを決定するステップと、
ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプであるか、および前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックのツリータイプが前記デュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないことに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックに前記パレットモードが適用されないことに基づいて、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含む、画像復号化方法。
【請求項2】
前記現在ブロックに前記パレットモードが適用されることに基づいて、前記ビットストリームから前記クロマ成分予測情報が取得されない、請求項1に記載の画像復号化方法。
【請求項3】
前記現在ブロックのルマ成分のパレットモード符号化情報を取得するステップをさらに含み、
前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用されることに基づいて、前記現在ブロックのルマ成分のパレットモード予測のための情報が前記ビットストリームから取得される、請求項1に記載の画像復号化方法。
【請求項4】
前記現在ブロックのルマ成分の前記パレットモード符号化情報を取得するステップは、前記現在ブロックのルマ成分ブロックのサイズに基づいて行われる、請求項3に記載の画像復号化方法。
【請求項5】
前記現在ブロックのクロマ成分のパレットモード符号化情報を取得するステップをさらに含み、
前記現在ブロックに前記パレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプであることに基づいて、前記現在ブロックのクロマ成分のパレットモード予測のための情報が前記ビットストリームから取得される、請求項1に記載の画像復号化方法。
【請求項6】
前記現在ブロックのクロマ成分のパレットモード符号化情報を取得するステップは、前記現在ブロックのクロマ成分ブロックのサイズに基づいて行われる、請求項5に記載の画像復号化方法。
【請求項7】
前記クロマ成分予測情報は、CCLM(Cross-component linear model)予測のための情報又はクロマ成分イントラ予測情報である、請求項1に記載の画像復号化方法。
【請求項8】
前記CCLM予測のための情報は、CCLM予測が行われるか否かを示すCCLMフラグと、CCLM予測のモードを示すCCLMモードインデックスとを含み、
前記CCLMフラグは、前記現在ブロックに対してCCLM予測が利用可能であることに基づいて、前記ビットストリームから取得され、
前記CCLMモードインデックスは、前記CCLMフラグが、CCLM予測が行われることを示すことに基づいて、前記ビットストリームから取得される、請求項7に記載の画像復号化方法。
【請求項9】
前記CCLMフラグが、前記CCLM予測が行われないことを示すことに基づいて、前記クロマ成分イントラ予測情報が前記ビットストリームから取得される、請求項8に記載の画像復号化方法。
【請求項10】
画像符号化装置によって行われる画像符号化方法であって、
画像を分割して現在ブロックを決定するステップと、
前記現在ブロックの予測モードを決定するステップと、
前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグを符号化するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプであるか、および前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックのツリータイプが前記デュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックの予測モードがパレットモードでないことに基づいて、現在ブロックのクロマ成分予測情報を符号化するステップと、を含む、画像符号化方法。
【請求項11】
前記現在ブロックにパレットモードが適用されることに基づいて、前記クロマ成分予測情報は符号化されない、請求項10に記載の画像符号化方法。
【請求項12】
前記クロマ成分予測情報は、CCLM(Cross-component linear model)予測のための情報又はクロマ成分イントラ予測情報である、請求項11に記載の画像符号化方法。
【請求項13】
前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプであることに基づいて、前記現在ブロックのクロマ成分がパレットモードで符号化されたパレットモード符号化情報が符号化され、
前記現在ブロックにパレットモードが適用されないことに基づいて、CCLM(Cross-component linear model)予測のための情報又はクロマ成分イントラ予測情報は前記クロマ成分予測情報として符号化される、請求項10に記載の画像符号化方法。
【請求項14】
画像符号化方法によって生成されたビットストリームを伝送する方法であって、
画像を分割して現在ブロックを決定するステップと、
前記現在ブロックの予測モードを決定するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプであるか、およびパレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックのツリータイプが前記デュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないことに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックの予測モードが、前記現在ブロックのパレットモードとクロマコンポーネント予測情報であるかを示すパレットモードフラグの少なくとも一つを符号化することにより前記ビットストリームを生成するステップとを含み、
前記現在ブロックの予測モードが前記パレットモードでないことに基づいて、前記クロマコンポーネント予測情報は符号化される、ビットストリームを伝送する方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像符号化/復号化方法及び装置に係り、より詳細には、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化/復号化方法、装置、及び本開示の画像符号化方法/装置によって生成されたビットストリームを伝送する方法に関する。
【背景技術】
【0002】
最近、高解像度、高品質の画像、例えばHD(High Definition)画像及びUHD(Ultra High Definition)画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
【0003】
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、符号化/復号化効率が向上した画像符号化/復号化方法及び装置を提供することを目的とする。
【0005】
また、本開示は、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングすることにより、符号化/復号化効率の向上を図る画像符号化/復号化方法及び装置を提供することを目的とする。
【0006】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
【0007】
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
【0008】
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
【0009】
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
【課題を解決するための手段】
【0010】
本開示の一態様による画像復号化装置によって行われる画像復号化方法は、画像を分割して現在ブロックを決定するステップと、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得するステップと、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含むことができる。
【0011】
また、本開示の一態様による画像復号化装置は、メモリと少なくとも一つのプロセッサとを含み、前記少なくとも一つのプロセッサは、画像を分割して現在ブロックを決定し、ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別し、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得し、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得することができる。
【0012】
また、本開示の一態様による画像符号化装置によって行われる画像符号化方法は、画像を分割して現在ブロックを決定するステップと、前記現在ブロックの予測モードを決定するステップと、前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグを符号化するステップと、前記現在ブロックのツリータイプと前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックをパレットモードで符号化したパレットモード符号化情報を符号化するステップと、前記現在ブロックの予測モードがパレットモードでなければ、現在ブロックのクロマ成分予測情報を符号化するステップと、を含むことができる。
【0013】
また、本開示の一態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
【0014】
また、本開示の一態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
【0015】
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
【発明の効果】
【0016】
本開示によれば、符号化/復号化効率が向上した画像符号化/復号化方法及び装置が提供されることができる。
【0017】
また、本開示によれば、パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングすることにより、符号化/復号化効率の向上を図ることができる画像符号化/復号化方法及び装置が提供されることができる。
【0018】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
【0019】
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
【0020】
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
【0021】
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0022】
【
図1】本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。
【
図2】本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【
図3】本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【
図4】一実施例による画像の分割構造を示す図である。
【
図5】マルチタイプツリー構造によるブロックの分割タイプの一実施例を示す図である。
【
図6】本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造におけるブロック分割情報のシグナリングメカニズムを例示する図である。
【
図7】CTUが多重CUに分割される一実施例を示す図である。
【
図8】冗長(redundant)分割パターンの一実施例を示す図である。
【
図9】一実施例によるクロマフォーマットシグナリングのためのシンタックスを示す図である。
【
図10】一実施例によるクロマフォーマット分類表を示す図である。
【
図11】一実施例による水平スキャンと垂直スキャンを示す図である。
【
図12】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図13】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図14】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図15】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図16】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図17】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図18】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図19】一実施例によるパレットモードのためのシンタックスを示す図である。
【
図20】一実施例によるPredictorPaletteEntriesとCurrentPaletteEntriesを決定するための数式を示す図である。
【
図21】変更された一実施例による符号化単位のシンタックスを示す図である。
【
図22】一実施例による所定のクロマイントラ予測情報のシグナリング方法を説明するフローチャートである。
【
図23】一実施例による復号化装置がクロマ予測情報を取得する方法を説明するフローチャートである。
【
図24】一実施例による符号化装置が画像を符号化する方法を説明するフローチャートである。
【
図25】一実施例による復号化装置が画像を復号化する方法を説明するフローチャートである。
【
図26】本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【発明を実施するための形態】
【0023】
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
【0024】
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
【0025】
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
【0026】
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第1構成要素は、他の実施例で第2構成要素と呼んでもよく、これと同様に、一実施例の第2構成要素を、他の実施例で第1構成要素と呼んでもよい。
【0027】
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
【0028】
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
【0029】
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
【0030】
本開示において、「ピクチャ(picture)」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル(tile)は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは、一つ以上のCTU(coding tree unit)を含むことができる。
【0031】
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピクチャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。
【0032】
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用して使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(又はサンプルアレイ)又は変換係数(transform coefficient)のセット(又はアレイ)を含むことができる。
【0033】
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
【0034】
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、「現在ブロックのルマブロック」を意味することができる。「現在ブロックのクロマブロック」は、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
【0035】
本開示において、「/」と「、」は「及び/又は」と解釈されることができる。例えば、「A/B」と「A、B」は「A及び/又はB」と解釈されることができる。また、「A/B/C」と「A、B、C」は、「A、B及び/又はCのうちの少なくとも一つ」を意味することができる。
【0036】
本開示において、「又は」は「及び/又は」と解釈されることができる。例えば、「A又はB」は、1)「A」のみを意味するか、2)「B」のみを意味するか、3)「A及びB」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に(additionally or alternatively)」を意味することができる。
【0037】
ビデオコーディングシステムの概要
【0038】
図1は本開示によるビデオコーディングシステムを示す図である。
【0039】
一実施例によるビデオコーディングシステムは、符号化装置10及び復号化装置20を含むことができる。符号化装置10は、符号化されたビデオ(video)及び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20へ伝達することができる。
【0040】
一実施例による符号化装置10は、ビデオソース生成部11、符号化部12及び伝送部13を含むことができる。一実施例による復号化装置20は、受信部21、復号化部22及びレンダリング部23を含むことができる。前記符号化部12は、ビデオ/画像符号化部と呼ばれることができ、前記復号化部22は、ビデオ/画像復号化部と呼ばれることができる。伝送部13は、符号化部12に含まれることができる。受信部21は、復号化部22に含まれることができる。レンダリング部23は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
【0041】
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介してビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャプチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
【0042】
符号化部12は、入力ビデオ/画像を符号化することができる。符号化部12は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットストリーム(bitstream)形式で出力することができる。
【0043】
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20の受信部21に伝達することができる。デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどのさまざまな記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化部22に伝達することができる。
【0044】
復号化部22は、符号化部12の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ/画像を復号化することができる。
【0045】
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
【0046】
画像符号化装置の概要
【0047】
図2は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
【0048】
図2に示されているように、画像符号化装置100は、画像分割部110、減算部115、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部185及びエントロピー符号化部190を含むことができる。インター予測部180及びイントラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこともできる。
【0049】
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPB(decoded picture buffer)を含むことができ、デジタル記憶媒体によって実現できる。
【0050】
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、フレーム)を一つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)又は最大コーディングユニット(largest coding unit、LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に(recursively)分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユニット(TU:Transform Unit)であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュアル信号(residual signal)を誘導する単位であることができる。
【0051】
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部190に伝達することができる。予測に関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
【0052】
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び/又はイントラ予測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びPlanarモードを含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
【0053】
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック(collocated reference block)、コロケートCU(colCU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ(collocated picture、colPic)と呼ばれることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)及び動きベクトル予測子に対するインジケータ(indicator)を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
【0054】
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、CIIP(combined inter and intra prediction)と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー(intra block copy、IBC)を行うこともできる。イントラブロックコピーは、例えば、SCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル(ブロックベクトル)として符号化されることができる。IBCは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、IBCは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
【0055】
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部115は、入力画像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residual signal、残余ブロック、残余サンプルアレイ)を生成することができる。生成されたレジデュアル信号は、変換部120に伝送されることができる。
【0056】
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLT(Karhunen-Loeve Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)のうちの少なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元されたすべてのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
【0057】
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送することができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部130は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化された変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
【0058】
エントロピー符号化部190は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などの様々な符号化方法を行うことができる。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に必要な情報(例えば、シンタックス要素(syntax elements)の値など)を一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビデオ/画像情報)は、ビットストリーム形式でNAL(network abstraction layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
【0059】
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
【0060】
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部140及び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
【0061】
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予測部185から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0062】
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部190に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
【0063】
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照ピクチャとして使用されることができる。画像符号化装置100は、これを介してインター予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
【0064】
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達することができる。
【0065】
画像復号化装置の概要
【0066】
図3は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
【0067】
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265を含んで構成できる。インター予測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
【0068】
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体によって実現できる。
【0069】
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、
図1の画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して再生できる。
【0070】
画像復号化装置200は、
図2の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部210を介して復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパーシングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部210は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、CABACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用いてコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部260及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
【0071】
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含むこともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの少なくとも一つを含むことができる。
【0072】
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、変換係数(transform coefficient)を取得することができる。
【0073】
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を取得することができる。
【0074】
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定することができる。
【0075】
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるのは、画像符号化装置100の予測部についての説明で述べたのと同様である。
【0076】
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部185についての説明は、イントラ予測部265に対しても同様に適用されることができる。
【0077】
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。例えば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出することができる。様々な予測モード(技法)に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード(技法)を指示する情報を含むことができる。
【0078】
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155についての説明は、加算部235に対しても同様に適用されることができる。加算部235は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
【0079】
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。
【0080】
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部260で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達することができる。
【0081】
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様に又は対応するように適用されることができる。
【0082】
画像分割の概要
【0083】
本開示によるビデオ/画像コーディング方法は、次の画像分割構造に基づいて行われることができる。具体的には、後述する予測、レジデュアル処理((逆)変換、(逆)量子化など)、シンタックス要素コーディング、フィルタリングなどの手順は、前記画像分割構造に基づいて導出されたCTU、CU(及び/又はTU、PU)に基づいて行われることができる。画像はブロック単位で分割されることができ、ブロック分割手順は上述した符号化装置の画像分割部110で行われることができる。分割関連情報は、エントロピー符号化部190で符号化されてビットストリーム形式で復号化装置に伝達できる。復号化装置のエントロピー復号化部210は、前記ビットストリームから取得した前記分割関連情報に基づいて、現在ピクチャのブロック分割構造を導出し、これに基づいて画像復号化のための一連の手順(例えば、予測、レジデュアル処理、ブロック/ピクチャ復元、インループフィルタリングなど)を行うことができる。
【0084】
ピクチャは、コーディングツリーユニット(coding tree units、CTUs)のシーケンスに分割されることができる。
図4はピクチャがCTUに分割される例を示す。CTUはコーディングツリーブロック(CTB)に対応することができる。或いは、CTUはルマサンプルのコーディングツリーブロックと、対応するクロマサンプルの二つのコーディングツリーブロックを含むことができる。例えば、三つのサンプルアレイを含むピクチャに対して、CTUは、ルマサンプルのN×Nブロックとクロマサンプルの二つの対応ブロックを含むことができる。
【0085】
CTU分割の概要
【0086】
前述したように、コーディングユニットは、コーディングツリーユニット(CTU)又は最大符号化ユニット(LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に分割することにより取得できる。例えば、CTUは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
【0087】
四分木による分割は、現在CU(又はCTU)を4等分する分割を意味する。四分木による分割によって、現在CUは、同じ幅と同じ高さを有する4つのCUに分割されることができる。現在CUがそれ以上四分木構造に分割されない場合、現在CUは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するCUは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するCUは、マルチタイプツリー構造によってさらに分割されることができる。
【0088】
図5はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による2つの分割と三分木構造による2つの分割を含むことができる。
【0089】
二分木構造による2つの分割は、垂直バイナリ分割(vertical binary splitting、SPLIT_BT_VER)と水平バイナリ分割(horizontal binary splitting、SPLIT_BT_HOR)を含むことができる。垂直バイナリ分割(SPLIT_BT_VER)は、現在CUを垂直方向に二等分する分割を意味する。
図4に示されているように、垂直バイナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有する2つのCUが生成されることができる。水平バイナリ分割(SPLIT_BT_HOR)は、現在CUを水平方向に二等分する分割を意味する。
図5に示されているように、水平バイナリ分割によって、現在CUの高さの半分の高さをもって現在CUの幅と同じ幅を有する2つのCUが生成されることができる。
【0090】
三分木構造による2つの分割は、垂直ターナリ分割(vertical ternary splitting、SPLIT_TT_VER)と水平ターナリ分割(horizontal ternary splitting、SPLIT_TT_HOR)を含むことができる。垂直ターナリ分割(SPLIT_TT_VER)は、現在CUを垂直方向に1:2:1の割合で分割する。
図5に示されているように、垂直ターナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の1/4の幅を有する2つのCUと、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有するCUが生成されることができる。水平ターナリ分割SPLIT_TT_HORは、現在CUを水平方向に1:2:1の割合で分割する。
図4に示されているように、水平ターナリ分割によって、現在CUの高さの1/4の高さ及び現在CUの幅と同じ幅を有する2つのCUと、現在CUの高さの半分の高さ及び現在CUの幅と同じ幅を有する1つのCUが生成されることができる。
【0091】
図6は本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造でのブロック分割情報のシグナリングメカニズムを例示する図である。
【0092】
ここで、CTUは四分木のルート(root)ノードとして扱われ、CTUは四分木構造に初めて分割される。現在CU(CTU又は四分木のノード(QT_node))に対して四分木分割を行うか否かを指示する情報(例えば、qt_split_flag)がシグナリングされることができる。例えば、qt_split_flagが第1値(例えば、「1」)であれば、現在CUは四分木に分割されることができる。また、qt_split_flagが第2値(例えば、「0」)であれば、現在CUは、四分木に分割されず、四分木のリーフノード(QT_leaf_node)になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらに分割されることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード(MTT_node)になることができる。マルチタイプツリー構造で、現在ノードがさらに分割されるかを指示するために、第1フラグ(a first flag、例えば、mtt_split_cu_flag)がシグナリングされることができる。もし当該ノードがさらに分割される場合(例えば、第1フラグが1である場合)には、分割方向(splitting direction)を指示するために、第2フラグ(a second flag、例えば、mtt_split_cu_verticla_flag)がシグナリングされることができる。例えば、第2フラグが1である場合には、分割方向は垂直方向であり、第2フラグが0である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第3フラグ(a third flag、例えば、mtt_split_cu_binary_flag)がシグナリングされることができる。例えば、第3フラグが1である場合には、分割タイプはバイナリ分割タイプであり、第3フラグが0である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第1フラグが0である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード(MTT_leaf_node)になる。マルチタイプツリーのリーフノードに該当するCUは、前述した最終コーディングユニットとして使用できる。
【0093】
前述したmtt_split_cu_vertical_flag及びmtt_split_cu_binary_flagに基づいて、CUのマルチタイプツリー分割モード(multi-type tree splitting mode、MttSplitMode)が表1のとおりに導出されることができる。以下の説明において、マルチトリー分割モードは、マルチツリー分割タイプ又は分割タイプと略称することができる。
【0094】
【0095】
図7は四分木の適用後にマルチタイプツリーが適用されることによりCTUが多重CUに分割される例を示す。
図7において、太いブロックエッジ(bold block edge)710は四分木分割を示し、残りのエッジ720はマルチタイプツリー分割を示す。CUは、コーディングロック(CB)に対応することができる。一実施例において、CUは、ルマサンプルのコーディングブロックと、ルマサンプルに対応するクロマサンプルの二つのコーディングブロックと、を含むことができる。クロマ成分(サンプル)CB又はTBサイズは、ピクチャ/画像のカラーフォーマット(クロマフォーマット、例えば、4:4:4、4:2:2、4:2:0など)による成分比に従ってルマ成分(サンプル)CB又はTBサイズに基づいて導出されることができる。カラーフォーマットが4:4:4である場合、クロマ成分CB/TBサイズは、ルマ成分CB/TBサイズと同一に設定されることができる。カラーフォーマットが4:2:2である場合、クロマ成分CB/TBの幅はルマ成分CB/TBの幅の半分に設定されることができ、クロマ成分CB/TBの高さはルマ成分CB/TBの高さに設定されることができる。カラーフォーマットが4:2:0である場合、クロマ成分CB/TBの幅はルマ成分CB/TBの幅の半分に設定されることができ、クロマ成分CB/TBの高さはルマ成分CB/TBの高さの半分に設定されることができる。
【0096】
一実施例において、ルマサンプル単位を基準にCTUのサイズが128であるとき、CUのサイズは、CTUと同じサイズである128×128から4×4までのサイズを持つことができる。一実施例において、4:2:0カラーフォーマット(又はクロマフォーマット)である場合、クロマCBサイズは64×64から2×2までのサイズを持つことができる。
【0097】
一方、一実施例において、CUサイズとTUサイズとが同じであることができる。又は、CU領域内に複数のTUが存在することもできる。TUサイズとは、一般的に、ルマ成分(サンプル)TB(Transform Block)サイズを示すことができる。
【0098】
前記TUサイズは、予め設定された値である最大許容TBサイズ(maxTbSize)に基づいて導出されることができる。例えば、前記CUサイズが前記maxTbSizeよりも大きい場合、前記CUから、前記maxTbSizeを持つ複数のTU(TB)が導出され、前記TU(TB)単位で変換/逆変換が行われることができる。例えば、最大許容ルマTBサイズは64×64であり、最大許容クロマTBサイズは32×32であることができる。もし前記ツリー構造によって分割されたCBの幅又は高さが最大変換幅又は高さよりも大きい場合、当該CBは、自動的に(又は暗黙的に)水平及び垂直方向のTBサイズの制限を満足するまで分割されることができる。
【0099】
また、例えばイントラ予測が適用される場合、イントラ予測モード/タイプは、前記CU(又はCB)単位で導出され、周辺参照サンプル導出及び予測サンプル生成手順は、TU(又はTB)単位で行われることができる。この場合、一つのCU(又はCB)領域内に一つ又は複数のTU(又はTB)が存在することができ、この場合、前記複数のTU(又はTB)は同じイントラ予測モード/タイプを共有することができる。
【0100】
一方、マルチタイプツリーを伴った四分木コーディングツリースキームのために、次のパラメータがSPSシンタックス要素として符号化装置から復号化装置にシグナリングされることができる。例えば、四分木のルートノードのサイズを示すパラメータであるCTUsize、四分木のリーフノードの最小許容サイズを示すパラメータであるMinQTSize、二分木のルートノードの最大許容サイズを示すパラメータであるMaxBTSize、三分木のルートノードの最大許容サイズを示すパラメータであるMaxTTSize、四分木のリーフノードから分割されるマルチタイプツリーの最大許容階層深さ(maximum allowed hierarchy depth)を示すパラメータであるMaxMttDepth、二分木の最小許容リーフノードサイズを示すパラメータであるMinBtSize、及び三分木の最小許容リーフノードサイズを示すパラメータであるMinTtSizeのうちの少なくとも一つがシグナリングされることができる。
【0101】
4:2:0クロマフォーマットを用いる一実施例において、CTUサイズは128×128ルマブロック及びルマブロックに対応する二つの64×64クロマブロックに設定されることができる。この場合、MinQTSizeは16×16に設定され、MaxBtSizeは128×128に設定され、MaxTtSzieは64×64に設定され、MinBtSize及びMinTtSizeは4×4に設定され、MaxMttDepthは4に設定されことができる。四分木パーティショニングは、CTUに適用されて四分木のリーフノードを生成することができる。四分木のリーフノードはリーフQTノードと呼ばれることができる。四分木のリーフノードは16×16サイズ(例えば、the MinQTSize)乃至128×128サイズ(例えば、the CTU size)を持つことができる。もしリーフQTノードが128×128である場合、さらに二分木/三分木に分割されないことができる。これは、この場合に分割されてもMaxBtsize及びMaxTtszie(例えば、64×64)を超過するためである。これ以外の場合、リーフQTノードは、マルチタイプツリーにさらに分割されることができる。よって、リーフQTノードは、マルチタイプツリーに対するルートノード(root node)であり、リーフQTノードは、マルチタイプツリーデプス(mttDepth)0値を持つことができる。もし、マルチタイプツリーデプスがMaxMttdepth(例えば、4)に到達した場合、それ以上の追加分割は考慮されないことができる。もし、マルチタイプツリーノードの幅がMinBtSizeと同じであり、2xMinTtSizeと同じかそれより小さい場合、それ以上の追加的な水平分割は考慮されないことができる。もし、マルチタイプツリーノードの高さがMinBtSizeと同じであり、2xMinTtSizeと同じかそれより小さい場合、それ以上の追加的な垂直分割は考慮されないことができる。このように分割が考慮されない場合、符号化装置は、分割情報のシグナリングを省略することができる。このような場合、復号化装置は、所定の値に分割情報を誘導することができる。
【0102】
一方、一つのCTUは、ルマサンプルのコーディングブロック(以下、「ルマブロック」という)と、これに対応するクロマサンプルの二つのコーディングブロック(以下、「クロマブロック」という)と、を含むことができる。前述したコーディングツリースキームは、現在CUのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に(separate)適用されることもできる。具体的には、一つのCTU内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー(SINGLE_TREE)と表すことができる。又は、一つのCTU内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー(DUAL_TREE)と表すことができる。つまり、CTUがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ(DUAL_TREE_LUMA)と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ(DUAL_TREE_CHROMA)と呼ばれることができる。P及びBスライス/タイルグループに対して、一つのCTU内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Iスライス/タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマCTB(Coding Tree Block)は、特定のコーディングツリー構造に基づいてCUに分割され、クロマCTBは、他のコーディングツリー構造に基づいてクロマCUに分割されることができる。すなわち、個別ブロックツリー構造が適用されるIスライス/タイルグループ内のCUは、ルマ成分のコーディングブロック又は2つのクロマ成分のコーディングブロックで構成され、P又はBスライス/タイルグループのCUは、三つのカラー成分(ルマ成分及び二つのクロマ成分)のブロックで構成され得ることを意味することができる。
【0103】
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、CUが分割される構造はこれに限定されない。例えば、BT構造及びTT構造は、多数の分割ツリー(Multiple Partitioning Tree、MPT)構造に含まれる概念と解釈されることができ、CUはQT構造及びMPT構造によって分割されると解釈することができる。QT構造及びMPT構造によってCUが分割される一例において、QT構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_type)及びQT構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_mode)がシグナリングされることにより、分割構造が決定されることができる。
【0104】
別の例において、CUは、QT構造、BT構造又はTT構造とは異なる方法で分割されることができる。つまり、QT構造によって下位デプスのCUが上位デプスのCUの1/4サイズに分割されるか、或いはBT構造によって下位デプスのCUが上位デプスのCUの1/2サイズに分割されるか、或いはTT構造によって下位デプスのCUが上位デプスのCUの1/4又は1/2サイズに分割されるのとは異なり、下位デプスのCUは、場合によって、上位デプスのCUの1/5、1/3、3/8、3/5、2/3又は5/8のサイズに分割されることができ、CUが分割される方法は、これに限定されない。
【0105】
このように、前記マルチタイプツリーを伴った四分木コーディングブロック構造は、非常に柔軟なブロック分割構造を提供することができる。一方、マルチタイプツリーに支援される分割タイプのために、場合によって、異なる分割パターンが潜在的に同一のコーディングブロック構造の結果を導出することができる。符号化装置と復号化装置は、このような冗長(redundant)分割パターンの発生を制限することにより、分割情報のデータ量を減らすことができる。
【0106】
例えば、
図8は二分木分割及び三分木分割で発生しうる冗長分割パターンを例示的に示す。
図8に示されているように、2ステップレベルの一方向に対する連続バイナリ分割810と820は、ターナリ分割後のセンターパーティションに対するバイナリ分割と同じコーディングブロック構造を持つ。このような場合、三分木分割のセンターブロック830、840に対する二分木分割は禁止できる。このような禁止は、すべてのピクチャのCUに対して適用できる。このような特定の分割が禁止される場合、対応するシンタックス要素のシグナリングは、このように禁止される場合を反映して修正でき、これにより、分割のためにシグナリングされるビット数を減らすことができる。例えば、
図8に示されている例のように、CUのセンターブロックに対する二分木分割が禁止される場合、分割がバイナリ分割であるかターナリ分割であるかを示すmtt_split_cu_binary_flagシンタックス要素はシグナリングされず、その値は0に復号化装置によって誘導されることができる。
【0107】
クロマフォーマットの概要
【0108】
以下、クロマフォーマットについて説明する。画像は、ルマ成分(例えば、Y)アレイと2つのクロマ成分(例えば、Cb、Cr)アレイを含む符号化データで符号化できる。例えば、符号化された画像の1つのピクセルは、ルマサンプルとクロマサンプルを含むことができる。ルマサンプルとクロマサンプルの構成フォーマットを示すためにクロマフォーマットが使用でき、クロマフォーマットはカラーフォーマットと呼ばれることもある。
【0109】
一実施例において、画像は、モノクロム(monochrome)、4:2:0、4:2:2、4:4:4などのさまざまなクロマフォーマットで符号化できる。モノクロムサンプリングでは、1つのサンプルアレイが存在することができ、前記サンプルアレイはルマアレイであることができる。4:2:0サンプリングでは、1つのルマサンプルアレイと2つのクロマサンプルアレイが存在することができ、2つのクロマアレイのそれぞれは、高さがルマアレイの半分であり、幅もルマアレイの半分であることができる。4:2:2サンプリングでは、1つのルマサンプルアレイと2つのクロマサンプルアレイが存在することができ、2つのクロマアレイのそれぞれは、ルマアレイと高さが同一であり、幅はルマアレイの半分であることができる。4:4:4サンプリングでは、1つのルマサンプルアレイと2つのクロマサンプルアレイが存在することができ、2つのクロマアレイのそれぞれは、ルマアレイとは高さと幅が同一であることができる。
【0110】
例えば、4:2:0サンプリングの場合、クロマサンプルの位置は対応するルマサンプルの下端に位置することができる。4:2:2サンプリングの場合、クロマサンプルは対応するルマサンプルの位置にオーバーラップして位置することができる。4:4:4サンプリングの場合、ルマサンプルとクロマサンプルはいずれもオーバーラップした位置に位置することができる。
【0111】
符号化装置と復号化装置で使用されるクロマフォーマットは、予め定められることもできる。又は、符号化装置及び復号化装置で適応的に使用されるために、符号化装置から復号化装置へクロマフォーマットがシグナリングされることもできる。一実施例において、クロマフォーマットは、chroma_format_idc及びseparate_colour_plane_flagのうちの少なくとも一つに基づいてシグナリングされることができる。chroma_format_idc及びseparate_colour_plane_flagのうちの少なくとも一つは、DPS、VPS、SPS又はPPSなどの上位レベルシンタックスを介してシグナリングされることができる。例えば、chroma_format_idc及びseparate_colour_plane_flagは、
図9のようなSPSシンタックスに含まれることができる。
【0112】
一方、
図10はchroma_format_idc及びseparate_colour_plane_flagのシグナリングを活用したクロマフォーマット分類の一実施例を示す。chroma_format_idcは、符号化画像に適用されたクロマフォーマットを示す情報であることができる。separate_colour_plane_flagは、特定のクロマフォーマットにおいてカラーアレイが分離されて処理されるか否かを示すことができる。例えば、chroma_format_idcの第1値(例えば、0)は、モノクロムサンプリングを示すことができる。chroma_format_idcの第2値(例えば、1)は、4:2:0サンプリングを示すことができる。chroma_format_idcの第3値(例えば、2)は、4:2:2サンプリングを示すことができる。chroma_format_idcの第4値(例えば、3)は、4:4:4サンプリングを示すことができる。
【0113】
4:4:4サンプリングでは、separate_colour_plane_flagの値に基づいて次の内容が適用できる。separate_colour_plane_flagの値が第1値(例えば、0)である場合、2つのクロマアレイのそれぞれは、ルマアレイと同一の高さ及び同一の幅を有することができる。このような場合、クロマサンプルアレイのタイプを示すChromaArrayTypeの値は、chroma_format_idcと同一に設定できる。もしseparate_colour_plane_flagの値が第2値(例えば、1)である場合、ルマ、Cb及びCrサンプルアレイは、分離されて(separately)処理されることにより、それぞれモノクロムサンプリングされたピクチャと同様に処理されることができる。この時、ChromaArrayTypeは0に設定できる。
【0114】
クロマブロックに対するイントラ予測
【0115】
現在ブロックにイントラ予測が行われる場合、現在ブロックのルマ成分ブロック(ルマブロック)に対する予測及びクロマ成分ブロック(クロマブロック)に対する予測が行われることができ、この場合、クロマブロックに対するイントラ予測モードは、ルマブロックに対するイントラ予測モードとは個別に設定されることができる。
【0116】
例えば、クロマブロックに対するイントラ予測モードは、イントラクロマ予測モード情報に基づいて指示されることができ、前記イントラクロマ予測モード情報は、intra_chroma_pred_modeシンタックス要素の形態でシグナリングされることができる。一例として、前記イントラクロマ予測モード情報は、Planarモード、DCモード、垂直(vertical)モード、水平(horizontal)モード、DM(Derived Mode)、CCLM(Cross-component linear model)モードのうちのいずれか一つを指し示すことができる。ここで、Planarモードは0番イントラ予測モード、前記DCモードは1番イントラ予測モード、前記垂直モードは26番イントラ予測モード、前記水平モードは10番イントラ予測モードをそれぞれ示すことができる。DMはdirect modeと呼ばれることもできる。CCLMはLM(linear model)とも呼ばれることができる。CCLMモードは、L_CCLM、T_CCLM、LT_CCLMのうちのいずれか一つを含むことができる。
【0117】
一方、DMとCCLMは、ルマブロックの情報を用いてクロマブロックを予測する従属的なイントラ予測モードである。前記DMは、前記ルマ成分に対するイントラ予測モードと同じイントラ予測モードが前記クロマ成分に対するイントラ予測モードとして適用されるモードを示すことができる。また、前記CCLMは、クロマブロックに対する予測ブロックを生成する過程でルマブロックの復元されたサンプルをサブサンプリングした後、サブサンプリングされたサンプルにCCLMパラメータα及びβを適用して導出されたサンプルを前記クロマブロックの予測サンプルとして使用するイントラ予測モードを示すことができる。
【0118】
CCLM(Cross-component linear model)モード
【0119】
前述したように、クロマブロックにはCCLMモードが適用できる。CCLMモードは、ルマブロックと、前記ルマブロックに対応するクロマブロックとの相関性(correlation)を用いたイントラ予測モードであって、ルマブロックの周辺サンプル及びクロマブロックの周辺サンプルに基づいて線形モデルを導出することにより行われる。そして、導出された線形モデル及び前記ルマブロックの復元サンプルに基づいて、前記クロマブロックの予測サンプルが導出されることができる。
【0120】
具体的には、現在クロマブロックにCCLMモードが適用される場合、現在クロマブロックのイントラ予測に使用される周辺サンプル及び現在ルマブロックのイントラ予測に使用される周辺サンプルに基づいて線形モデルに対するパラメータが導出されることができる。例えば、CCLMのための線形モデルは、下記の数式に基づいて表すことができる。
【0121】
【0122】
ここで、predc(i,j)は、現在CU内の前記現在クロマブロックの(i,j)座標の予測サンプルを示すことができる。recL(i,j)は、前記CU内の前記現在ルマブロックの(i,j)座標の復元サンプルを示すことができる。例えば、recL’(i,j)は、前記現在ルマブロックのダウンサンプリング(down-sampled)された復元サンプルを示すことができる。線形モデル係数α及びβは、シグナリングされることもできるが、周辺サンプルから誘導されることもできる。
【0123】
パレットモードの概要
【0124】
以下、パレットモード(Palette mode)について説明する。一実施例による符号化装置は、パレットモードを用いて画像を符号化することができ、復号化装置は、これに対応する方法でパレットモードを用いて画像を復号化することができる。パレットモードは、パレット符号化モード、イントラパレットモード、イントラパレット符号化モードなどと呼ばれることができる。パレットモードは、イントラ符号化モードの一類型として見なすことができ、イントラ予測方法のうちのいずれか一つとして見なすこともできる。ただし、前述したスキップモードと同様に、当該ブロックに対する別途のレジデュアル値はシグナリングされないことができる。
【0125】
一実施例において、パレットモードは、相当量のテキストとグラフィックを含むコンピュータで生成された画像であるスクリーンコンテンツを符号化するにあたり、符号化効率を向上させるために使用できる。一般に、スクリーンコンテンツで生成された画像のローカル領域はシャープエッジで分離され、少ない数の色で表現される。このような特性を活用するために、パレットモードは、パレットテーブルのカラーエントリを指示するインデックスで一つのブロックに対するサンプルを表現することができる。
【0126】
パレットモードを適用するために、パレットテーブルに対する情報がシグナリングされることができる。一実施例において、パレットテーブルは、それぞれのカラーに対応するインデックス値を含むことができる。インデックス値をシグナリングするために、パレットインデックス予測情報がシグナリングされることができる。パレットインデックス予測情報は、パレットインデックスマップの少なくとも一部分のためのインデックス値を含むことができる。パレットインデックスマップは、ビデオデータのピクセルをパレットテーブルのカラーインデックスにマッピングすることができる。
【0127】
パレットインデックス予測情報は、run値情報を含むことができる。パレットインデックスマップのうちの少なくとも一部分に対して、run値情報は、run値をインデックス値に関連付ける情報であり得る。一つのrun値はエスケープカラーインデックスに関連付けられることができる。パレットインデックスマップは、パレットインデックス予測情報から生成できる。例えば、最後のインデックス値に基づいてパレットインデックス予測情報のインデックス値を調整するか否かを決定することにより、パレットインデックスマップのうちの少なくとも一部が生成されることができる。
【0128】
現在ピクチャにおける現在ブロックは、パレットインデックスマップに応じて符号化又は復元されることができる。パレットモードが適用される場合、現在符号化単位でのピクセル値は、代表カラー値の小さなセットで表現できる。このようなセットがパレットと命名できる。パレットカラーに近い値を持つピクセルに対して、パレットインデックスがシグナリングされることができる。パレットに属していない(外れた)値を持つピクセルに対して、当該ピクセルはエスケープ(escape)シンボルで表記され、量子化されたピクセル値が直接シグナリングされることができる。本明細書において、ピクセル又はピクセル値はサンプルで説明できる。
【0129】
パレットモードで符号化されたブロックを復号化するために、復号化装置は、パレットカラーとインデックスを復号化することができる。パレットカラーは、パレットテーブルとして記述でき、パレットテーブルコーディングツールを用いて符号化されていることができる。エスケープフラグがそれぞれの符号化単位に対してシグナリングされることができる。エスケープフラグは、現在符号化単位にエスケープシンボルが存在するか否かを示すことができる。もしエスケープシンボルが存在する場合、パレットテーブルが1単位(例えば、インデックス単位)増加し、最後のインデックスはエスケープモードと指定できる。一つの符号化単位に対する全てのピクセルのパレットインデックスは、パレットインデックスマップを構成することができ、パレットインデックスマップコーディングツールを用いて符号化できる。
【0130】
例えば、パレットテーブルを符号化するために、パレット予測子が維持できる。パレット予測子は、それぞれのスライス開始点で初期化できる。例えば、パレット予測子は0にリセットされることができる。パレット予測子のそれぞれのエントリに対して、現在パレットの部分であるか否かを示す再使用フラグがシグナリングされることができる。再使用フラグは、0値のランレングスコーディング(run-length coding)を用いてシグナリングされることができる。
【0131】
その後、新しいパレットエントリのための数字が0次指数ゴロムコードを用いてシグナリングされることができる。最終的に、新しいパレットエントリのためのコンポーネント値がシグナリングされることができる。現在符号化単位を符号化した後、パレット予測子が現在パレットを用いて更新でき、現在パレットで再使用されていない以前パレット予測子からのエントリが(許容された最大サイズに達するまで)新しいパレット予測子の最後に付加でき、これをパレットスタッフィング(palette stuffing)と呼ぶことができる。
【0132】
例えば、パレットインデックスマップを符号化するために、水平又は垂直スキャンを用いてインデックスが符号化できる。スキャン順序は、スキャン方向を示すパラメータpalette_transpose_flagを用いてビットストリームを介してシグナリングされることができる。例えば、現在符号化単位でのサンプルのためのインデックスをスキャンするために水平スキャンが適用される場合、palette_transpose_flagは第1値(例えば、0)を持つことができ、垂直スキャンが適用される場合、palette_transpose_flagは第2値(例えば、1)を持つことができる。
図11は一実施例による水平スキャン及び垂直スキャンの実施例を示す。
【0133】
また、一実施例において、パレットインデックスは、「INDEX」モード及び「COPY_ABOVE」モードを用いて符号化できる。水平スキャンが使用される場合、最上側行に対してパレットインデックスのモードがシグナリングされる場合、垂直スキャンが使用される場合において最左側列に対してパレットインデックスのモードがシグナリングされる場合、そして直前のモードが「COPY_ABOVE」である場合を除き、前記2つのモードは1つのフラグを用いてシグナリングされることができる。
【0134】
「INDEX」モードにおいて、パレットインデックスは明示的にシグナリングされることができる。「INDEX」モードと「COPY_ABOVE」モードに対して、同一のモードを用いて、符号化されたピクセルの数を示すrun値がシグナリングされることができる。
【0135】
インデックスマップのための符号化順序は、次のように設定されることができる。まず、符号化単位に対するインデックス値の数がシグナリングされることができる。これは、切り捨てられたバイナリコーディング(truncated binary coding)を使用する全体符号化単位に対する実際インデックス値のシグナリング以後に行われることができる。インデックスの数とインデックス値の両方がバイパスモードで符号化されることができる。これにより、インデックスに関連付けられたバイパスビンをグループ化することができる。その後、パレットモード(INDEX又はCOPY_ABOVE)及びrun値がインターリーブ方法でシグナリングされることができる。
【0136】
最後に、全体符号化単位に対するエスケープサンプルに対応するコンポーネントエスケープ値が互いにグループ化されることができ、バイパスモードで符号化されることができる。付加的なシンテックス要素であるlast_run_type_flagがインデックス値をシグナリングした後にシグナリングできる。インデックスの数と一緒にlast_run_type_flagを用いることにより、ブロックでの最後のrunに対応するrun値のシグナリングを省略することができる。
【0137】
一実施例において、ルマ成分とクロマ成分に対して独立的な符号化単位パーティショニングを行うデュアルツリータイプをIスライスに対して使用することができる。パレットモードは、ルマ成分及びクロマ成分にそれぞれ又は一緒に適用されることができる。デュアルツリーが適用されなければ、Y、Cb及びCr成分の全てにパレットモードが適用できる。
【0138】
一実施例において、パレットモードのためのシンタックス要素のシグナリングは、
図12乃至
図19に示すように符号化及びシグナリングされることができる。
図12及び
図13はパレットモードのための符号化単位(Coding Unit、CU)における連続するシンタックスを示し、
図14乃至
図19はパレットモードのための連続するシンタックスを示す。
【0139】
以下、各シンタックス要素について説明する。パレットモードフラグであるpred_mode_plt_flagは、現在符号化単位に対してパレットモードが適用されるか否かを示すことができる。例えば、pred_mode_plt_flagの第1値(例えば、0)は、現在符号化単位に対してパレットモードが適用されないことを示すことができる。pred_mode_plt_flagの第2値(例えば、1)は、現在符号化単位に対してパレットモードが適用されることを示すことができる。pred_mode_plt_flagがビットストリームから取得されない場合、pred_mode_plt_flagの値は第1値と決定されることができる。
【0140】
パラメータPredictorPaletteSize[startComp]は、現在パレットテーブルの一番目のカラーコンポーネントであるstartCompのための予測子パレットの大きさを示すことができる。
【0141】
パラメータPalettePredictorEntryReuseFlags[i]は、エントリの再使用か否かを示す情報であり得る。例えば、PalettePredictorEntryReuseFlags[i]の第1値(例えば、0)は、予測子パレットのi番目のエントリが現在パレットのエントリではないことを示し、第2値(例えば1)は、予測子パレットのi番目のエントリが現在パレットで再使用できることを示すことができる。PalettePredictorEntryReuseFlags[i]の使用のために、初期値は0に設定されることができる。
【0142】
パラメータpalette_predictor_runは、配列PalettePredictorEntryReuseFlagsで0ではないエントリよりも前に存在する0の個数を示すことができる。
【0143】
パラメータnum_signalled_palette_entriesは、現在パレットテーブルの一番目のカラーコンポーネントstartCompのために明示的にシグナリングされる現在パレットにおけるエントリの個数を示すことができる。num_signalled_palette_entriesがビットストリームから取得されない場合、num_signalled_palette_entriesの値は0に決定されることができる。
【0144】
パラメータCurrentPaletteSize[startComp]は、現在パレットテーブルの一番目のカラーコンポーネントstartCompのための現在パレットの大きさを示すことができる。これは、下記の数式で計算できる。CurrentPaletteSize[startComp]の値は、0~palette_max_sizeの範囲を持つことができる。
【0145】
〔数2〕
CurrentPaletteSize[startComp]=NumPredictedPaletteEntries+num_signalled_palette_entries
【0146】
パラメータnew_palette_entries[cIdx][i]は、カラーコンポーネントcIdxに対してi番目にシグナリングされるパレットエントリの値を示すことができる。
【0147】
パラメータPredictorPaletteEntries[cIdx][i]は、カラーコンポーネントcIdxに対する予測子パレットにおけるi番目の要素を示すことができる。
【0148】
パラメータCurrentPaletteEntries[cIdx][i]は、カラーコンポーネントcIdxに対する現在パレットにおけるi番目の要素を示すことができる。PredictorPaletteEntriesとCurrentPaletteEntriesは、
図20に示すような数式のように生成できる。
【0149】
パラメータpalette_escape_val_present_flagは、エスケープ(escape)符号化サンプルの存否を示すことができる。例えば、palette_escape_val_present_flagの第1値(例えば、0)は、現在符号化単位に対してエスケープ符号化サンプルが存在しないことを示すことができ、palette_escape_val_present_flagの第2値(例えば、1)は、現在符号化単位が少なくとも一つのエスケープ符号化サンプルを含むことを示すことができる。palette_escape_val_present_flagがビットストリームから取得されない場合、palette_escape_val_present_flagの値は1に決定されることができる。
【0150】
パラメータMaxPaletteIndexは、現在符号化単位のためのパレットインデックスの最大利用可能値を示すことができる。MaxPaletteIndexの値は、CurrentPaletteSize[startComp]+palette_escape_val_present_flagで決定されることができる。
【0151】
パラメータnum_palette_indices_minus1は、現在ブロックに対して明示的又は暗示的にシグナリングされるパレットインデックスの個数を示すことができる。例えば、num_palette_indices_minus1に1を加えた値は、現在ブロックに対して明示的にシグナリングされるか、或いは暗示的にシグナリングされるパレットインデックスの個数を示すことができる。num_palette_indices_minus1がビットストリームに含まれていなければ、num_palette_indices_minus1の値は0に決定されることができる。
【0152】
パラメータpalette_idx_idcは、パレットテーブルCurrentPaletteEntriesに対するインデックスのインジケータであり得る。palette_idx_idcの値は、当該ブロックの一番目のインデックスに対して0~MaxPaletteIndexの値を持つことができ、当該ブロックの残りの残余インデックスに対して0~MaxPaletteIndex-1の値を持つことができる。palette_idx_idcの値がビットストリームから取得されない場合、palette_idx_idcの値は0に決定されることができる。
【0153】
パラメータPaletteIndexIdc[i]は、明示的又は暗示的にシグナリングされるi番目のpalette_idx_idcの値を保存する配列であり得る。PaletteIndexIdc[i]のすべての要素の値は0に初期化されることができる。
【0154】
パラメータcopy_above_indices_for_final_run_flagは、最後のrunのために以前インデックスをコピーするか否かを示す情報を示すことができ、第1値(例えば、0)は、現在コーディングユニットの最後の位置におけるパレットインデックスがビットストリームを介して明示的にシグナリングされるか、或いは暗示的にシグナリングされることを示すことができ、第2値(例えば、1)は、現在コーディングユニットの最後の位置におけるパレットインデックスがビットストリームを介して明示的にシグナリングされるか、或いは暗示的にシグナリングされることを示すことができる。copy_above_indices_for_final_run_flagがビットストリームから取得されない場合、copy_above_indices_for_final_run_flagの値は0に決定されることができる。
【0155】
パラメータpalette_transpose_flagは、現在符号化単位のピクセルに対するインデックスをスキャンするために使用されるスキャン方法を示す情報であり得る。例えば、palette_transpose_flagの第1値(例えば、0)は、現在符号化単位のピクセルに対するインデックスをスキャンするために水平スキャンが適用されることを示すことができ、palette_transpose_flagの第2値(例えば、1)は、現在符号化単位のピクセルに対するインデックスをスキャンするために垂直スキャンが適用されることを示すことができる。palette_transpose_flagがビットストリームから取得されない場合、palette_transpose_flagの値は0に決定されることができる。
【0156】
パラメータcopy_above_palette_indices_flagの第1値(例えば、0)は、サンプルのパレットインデックスを示すインジケータがビットストリームの符号化された値から取得又は誘導されることを示すことができる。copy_above_palette_indices_flagの第2値(例えば、1)は、パレットインデックスが周辺サンプルのパレットインデックスと同じであることを示すことができる。例えば、周辺サンプルは、現在垂直スキャンが使用される場合、現在サンプルの左側列で現在サンプルと同じ位置に存在するサンプルであり得る。又は、周辺サンプルは、現在水平スキャンが使用される場合、現在サンプルの上側行で現在サンプルと同じ位置に存在するサンプルであり得る。
【0157】
パラメータCopyAboveIndicesFlag[xC][yC]の第1値(例えば、0)は、パレットインデックスがビットストリームから明示的に取得されるか或いは暗示的に取得されることを示すことができる。第2値(例えば、1)は、現在垂直スキャンが使用される場合には左側列のパレットインデックスをコピーして、現在水平スキャンが使用される場合には上側行のパレットインデックスをコピーしてパレットインデックスが生成されることを示すことができる。ここで、xC、yCは現在ピクチャの左上側サンプルからの現在サンプルの位置を相対的に示す座標インジケータである。PaletteIndexMap[xC][yC]の値は、0~(MaxPaletteIndex-1)の値を持つことができる。
【0158】
パラメータPaletteIndexMap[xC][yC]は、パレットインデックスを示し、例えば、CurrentPaletteEntriesによって表現される配列に対するインデックスを示すことができる。配列インデックスxCとyCは、前述のように現在ピクチャの左上側サンプルに対して相対的に現在サンプルの座標を示す座標インジケータである。PaletteIndexMap[xC][yC]は、0~(MaxPaletteIndex-1)の値を持つことができる。
【0159】
パラメータPaletteRunは、CopyAboveIndicesFlag[xC][yC]の値が0である場合、同じパレットインデックスを持つ連続的位置の個数を示すことができる。一方、CopyAboveIndicesFlag[xC][yC]の値が1である場合、PaletteRunは、現在スキャン方向が水平スキャンである場合には上側行での位置におけるパレットインデックス、現在スキャン方向が垂直スキャンである場合には左側列での位置におけるパレットインデックスと同じパレットインデックスを有する連続的な位置の個数を示すことができる。
【0160】
パラメータPaletteMaxRunは、PaletteRunの最大利用可能値を示すことができる。PaletteMaxRunの値は0よりも大きい整数であり得る。
【0161】
パラメータpalette_run_prefixは、PaletteRunの二値化において使用されるプレフィックス部分を示すことができる。
【0162】
パラメータpalette_run_suffixは、PaletteRunの二値化において使用されるサフィックス部分を示すことができる。palette_run_suffixがビットストリームから取得されない場合、その値は0に決定されることができる。
【0163】
PaletteRunの値は、次のとおり決定できる。例えば、palette_run_prefixの値が2よりも小さければ、次のとおり計算できる。
【0164】
〔数3〕
PaletteRun=palette_run_prefix
【0165】
これに対し、palette_run_prefixの値が2以上であれば、次のとおり計算できる。
【0166】
〔数4〕
【0167】
PrefixOffset=1<<(palette_run_prefix-1)
【0168】
PaletteRun=PrefixOffset+palette_run_suffix
【0169】
パラメータpalette_escape_valは、コンポーネントのための量子化されたエスケープ符号化サンプル値を示すことができる。パラメータPaletteEscapeVal[cIdx][xC][yC]は、PaletteIndexMap[xC][yC]の値が(MaxPaletteIndex-1)であり、palette_escape_val_present_flagの値が1であるサンプルのエスケープ値を示すことができる。ここで、cIdxは、カラーコンポーネントを示すことができる。配列インジケータxCとyCは、前述のように現在サンプルの位置を現在ピクチャの左上側サンプルからの相対距離で表す位置インジケータであり得る。
【0170】
パレットモードが適用される場合におけるクロマ予測モードシグナリング
【0171】
以下、パレットモードが適用される場合にクロマ予測モード情報をシグナリングする方法について説明する。一実施例において、パレットモードが適用された符号化単位(又は符号化ブロック)に対して、CCLMなどのクロマ予測符号化を適用しないことができる。また、パレットモードが適用された符号化単位に対してintra_chroma_pred_modeもシグナリングしないことができる。
【0172】
クロマ成分のためにCCLMが利用可能であると決定される場合、そのためのオン/オフフラグがシグナリングされることができる。一実施例において、CCLMの利用可能性は、sps_palette_enabled_flag又はsps_plt_enabled_flagを用いて決定されることができ、CCLMのオン/オフフラグシグナリングは、sps_palette_enabled_flag又はsps_plt_enabled_flagを用いてシグナリングされることができる。
【0173】
一方、
図13の例において、CCLM情報(例えば、cclm_mode_flag)のシグナリングは、符号化単位のパレットモード適用有無を考慮していない。例えば、
図13の例では、現在符号化単位にパレットモードが適用されないか、或いは符号化単位がデュアルツリークロマではない場合、所定のクロマ予測情報(例えば、cclm_mode_flag、intra_chroma_pred_mode)がシグナリングされる実施例を説明している。
【0174】
このような場合、シングルツリー構造でパレット符号化されたブロックに所定のクロマ予測情報がシグナリングされることにより、不要なシンタックスシグナリングが発生する可能性がある。さらに、このように所定のクロマ予測情報がシグナリングされることにより、符号化単位におけるクロマ成分がパレットモードで符号化されたにも拘らず、CCLMによるクロマイントラ予測が行われてもよく、DMモードによるクロマイントラ予測が行われてもよい。
【0175】
かかる問題点を解決するために、符号化単位に対するシンタックスが
図21のように修正されることができる。
図21は現在符号化単位にパレットモードが適用されるか否かを示すパラメータであるpred_mode_plt_flag2110の値が、パレットモードが適用されないことを示す第1値(例えば、0)である場合、所定のクロマイントラ予測情報2120がビットストリームから取得されることを示す符号化単位のシンタックスを示す。また、
図21のシンタックスは、pred_mode_plt_flag2110の値が、パレットモードが適用されることを示す第2値(例えば、1)である場合、所定のクロマイントラ予測情報2120がビットストリームから取得されないことを示す。
【0176】
図21の実施例でのように、所定のクロマ予測情報(例えば、cclm_mode_flag、intra_chroma_pred_mode)がシグナリングされるために現在符号化単位にパレットモードが適用されるか否かによって、所定のクロマ予測情報(例えば、cclm_mode_flag、intra_chroma_pred_mode)がシグナリングされることができる。
【0177】
以下、
図22を参照して
図21のシンタックスによる所定のクロマイントラ予測情報のシグナリングについて説明する。一実施例による符号化装置又は復号化装置は、現在符号化単位(例えば、符号化ブロック)にパレットモードが適用されるかを判断することができる(S2210)。例えば、復号化装置は、pred_mode_plt_flagの値に従って、現在符号化単位にパレットモードが適用されるか否かを判断することができる。
【0178】
次に、現在符号化単位にパレットモードが適用される場合、符号化装置は、当該符号化単位をパレットモードで符号化することができ、復号化装置は、当該符号化単位をパレットモードで復号化することができる。これにより、符号化装置又は復号化装置は、所定のクロマ予測情報をシグナリングしないことができる(S2220)。例えば、符号化装置は、所定のクロマ予測情報(例えば、cclm_mode_flag、intra_chroma_pred_mode)を符号化しなくてもよく、復号化装置は、所定のクロマ予測情報をビットストリームから取得しなくてもよい。
【0179】
次に、現在符号化単位にパレットモードが適用されない場合、符号化装置又は復号化装置は、前記所定のクロマ予測情報をシグナリングすることができる。一実施例において、符号化装置又は復号化装置は、現在符号化単位にCCLMモードが利用可能であるかを判断し(S2230)、利用可能な場合にはCCLMパラメータをシグナリングすることができ(S2240)、利用可能でない場合にはintra_chroma_pred_modeパラメータをシグナリングすることができる(S2250)。
【0180】
これに対して、復号化装置がクロマ予測情報を取得するステップを
図23を参照してより詳細に説明する。復号化装置は、現在符号化単位にパレットモードが適用されない場合(S2310)、現在符号化単位にCCLMモードが利用可能であるか否かを判断することができる(S2320)。例えば、復号化装置は、シーケンスパラメータセットでシグナリングされるCCLMモードの利用可能性を示すパラメータsps_cclm_enabled_flagが、CCLMモードが利用可能でないことを示す第1値(例えば、0)を有する場合、現在符号化単位にCCLMモードが利用可能でないことを決定することができる。或いは、復号化装置は、sps_cclm_enabled_flagが、cclmモードが利用可能であることを示す第2値(例えば、1)を有する場合、スライスヘッダを介して伝送されるスライスタイプパラメータsh_slice_typeが、現在スライスタイプがIスライスではないことを示すか、或いは現在ブロックの輝度成分のサイズが64よりも小さい場合、現在符号化単位にCCLMモードが利用可能であることを決定することができる。或いは、復号化装置は、sps_cclm_enabled_flagが、cclmモードが利用可能であることを示す第2値(例えば、1)を有する場合、シーケンスパラメータセットでシグナリングされるsps_qtbtt_dual_tree_intra_flagパラメータがIスライスに含まれるそれぞれのCTU(coding tree unit)がサイズ64×64のルマ成分ブロックに分割され、開発CTUがデュアルツリーのヘッダノードになることを示さない場合、現在符号化単位にCCLMモードが利用可能であることを決定することができる。
【0181】
CCLMモードが利用可能である場合、復号化装置は、現在符号化単位にCCLMモードが適用されるか否かを決定することができる(S2330)。例えば、復号化装置は、ビットストリームからcclm_mode_flagパラメータを取得することができる。パラメータcclm_mode_flagは、CCLMモードの適用有無を示すことができる。cclm_mode_flagの第1値(例えば、0)は、CCLMモードが適用されないことを示すことができる。cclm_mode_flagの第2値(例えば、1)は、T_CCLM、L_CCLM及びLT_CCLMのうちのいずれか一つのCCLMモードが適用できることを示すことができる。cclm_mode_flagの値がビットストリームから取得されない場合、cclm_mode_flagの値は0に決定されることができる。
【0182】
CCLMモードが適用される場合(例えば、cclm_mode_flag==1)、復号化装置は、パラメータcclm_mode_idxをビットストリームから取得することができる(S2340)。パラメータcclm_mode_idxは、T_CCLM、L_CCLM及びLT_CCLMのうち、現在符号化単位のクロマ成分を復号化するために使用されるCCLMモードを示すインデックスを指示することができる。
【0183】
一方、CCLMモードが利用不可能であるか、或いはCCLMモードが適用されない場合(例えば、cclm_mode_flag==0)、復号化装置は、パラメータintra_chroma_pred_modeをビットストリームから取得することができる(S2350)。前述したように、パラメータintra_chroma_pred_modeは、現在符号化単位のクロマ成分を復号化するために使用されるイントラ予測モードを示すことができる。一例として、前記intra_chroma_pred_modeは、Planarモード、DCモード、垂直(vertical)モード、水平(horizontal)モード、DM(Derived Mode)モードのうちのいずれか一つを指すことができる。
【0184】
符号化方法
【0185】
以下、上述した方法を用いて一実施例による符号化装置が符号化を行う方法について、
図24を参照して説明する。一実施例による符号化装置は、メモリ及び少なくとも一つのプロセッサを含み、前記少なくとも一つのプロセッサは、以下の符号化方法を行うことができる。
【0186】
まず、符号化装置は、画像を分割して現在ブロックを決定することができる(S2410)。例えば、符号化装置は、
図4~
図6を参照して上述したように画像を分割して現在ブロックを決定することができる。一実施例による分割過程で、画像分割情報が符号化されることができ、符号化された画像分割情報は、ビットストリームとして生成されることができる。
【0187】
次に、符号化装置は、前記現在ブロックの予測モードを決定することができる(S2420)。次に、符号化装置は、前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグ(例えば、pred_mode_plt_flag)を符号化することができる(S2430)。符号化されたパレットモードフラグは、ビットストリームとして生成されることができる。
【0188】
次に、符号化装置は、前記現在ブロックのツリータイプと前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックをパレットモードで符号化したパレットモード符号化情報を符号化することができる(S2440)。例えば、符号化装置は、パレットモードが適用されるものと決定された場合、
図14~
図19を参照して説明したように、palette_coding()シンタックスを用いてパレットモード符号化情報を生成することによりビットストリームを生成することができる。
【0189】
一方、前記現在ブロックに対するパレットモード符号化情報を符号化するステップは、前記現在ブロックのルマ成分に対するパレットモード符号化情報を符号化するステップを含むことができる。例えば、前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用される場合、前記現在ブロックのルマ成分に対するパレットモード予測のための情報を符号化することができ、符号化された情報を用いてビットストリームを生成することができる。
【0190】
このとき、現在ブロックのルマ成分に対するパレットモード符号化情報は、前記現在ブロックのルマ成分ブロックのサイズに基づいて符号化されることができる。例えば、前述した
図13の実施例でのように、現在ブロックのルマ成分ブロックの幅(例えば、cbWidth)と現在ブロックのルマ成分ブロックの高さ(例えば、cbHeight)に基づいて規定されたpalette_coding()シンタックスに従って、符号化装置は、パレットモード符号化情報をビットストリームとして生成することができる。
【0191】
また、前記現在ブロックに対するパレットモード符号化情報を符号化するステップは、前記現在ブロックのクロマ成分に対するパレットモード符号化情報を符号化するステップをさらに含むことができる。例えば、前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分に対するパレットモード予測のための情報を符号化することができ、符号化された情報を用いてビットストリームを生成することができる。
【0192】
このとき、現在ブロックのクロマ成分に対するパレットモード符号化情報は、前記現在ブロックのクロマ成分ブロックのサイズに基づいて符号化されることができる。例えば、前述した
図13の実施例でのように、現在ブロックのクロマ成分ブロックの幅(例えば、cbWidth/subWidthC)と現在ブロックのクロマ成分ブロックの高さ(例えば、cbHeight/subHeightC)に基づいて規定されたpalette_coding()シンタックスに従って、符号化装置は、パレットモード符号化情報をビットストリームとして生成することができる。ここで、subWidthCとsubHeightCは、ルマ成分ブロックに対するクロマ成分ブロックの高さと幅の比率であり得る。一実施例において、subWidthCとsubHeightCは、
図10に示すようにchroma_format_idc及びseparate_cour_plane_flagに基づいて決定されることができる。
【0193】
次に、符号化装置は、前記現在ブロックの予測モードがパレットモードでなければ、現在ブロックのクロマ成分予測情報を符号化することができる(S2450)。前記クロマ成分予測情報は、CCLM(Cross-component linear model)予測のための情報(例えば、cclm_mode_flag、cclm_mode_idx)又はクロマ成分イントラ予測情報(例えば、intra_chroma_pred_mode)であることができる。
【0194】
一方、符号化装置は、現在ブロックにパレットモードが適用されると、前記クロマ成分予測情報を符号化しないことができる。
【0195】
より詳細には、前記CCLM予測のための情報は、CCLM予測が行われるか否かを示すCCLMフラグ(例えば、cclm_mode_flag)と、CCLM予測のモードを示すCCLMモードインデックス(例えば、cclm_mode_idx)とを含むことができる。前記CCLMフラグは、前記現在ブロックに対してCCLM予測が利用可能である場合、符号化されて前記ビットストリームとして生成されることができる。前記CCLMモードインデックスは、前記CCLMフラグが、CCLM予測が行われることを示す場合に符号化されて前記ビットストリームとして生成されることができる。
【0196】
一方、前記CCLMフラグが、前記CCLM予測が行われないことを示す場合、前記クロマ成分イントラ予測情報(例えば、intra_chroma_pred_mode)が符号化されて前記ビットストリームとして生成されることができる。
【0197】
復号化方法
【0198】
以下、上述した方法を用いて一実施例による復号化装置が復号化を行う方法について、
図25を参照して説明する。一実施例による復号化装置は、メモリと少なくとも一つのプロセッサとを含み、前記少なくとも一つのプロセッサは、以下の復号化方法を行うことができる。
【0199】
まず、復号化装置は、画像を分割して現在ブロックを決定することができる(S2510)。例えば、復号化装置は、
図4~
図6を参照して上述したように、画像を分割して現在ブロックを決定することができる。一実施例による分割過程で、ビットストリームから取得された画像分割情報が使用されることもできる。
【0200】
次に、復号化装置は、ビットストリームから取得されたパレットモードフラグ(例えば、pred_mode_plt_flag)に基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別することができる(S2520)。
【0201】
次に、復号化装置は、前記現在ブロックのツリータイプと前記現在ブロックにパレットモードが適用されるか否かに基づいて、前記現在ブロックに対するパレットモード符号化情報をビットストリームから取得することができる(S2530)。例えば、復号化装置は、パレットモードが適用されるものと決定された場合、
図14~
図19を参照して説明したように、palette_coding()シンタックスを用いてパレットモード符号化情報をビットストリームから取得することができる。
【0202】
一方、前記現在ブロックに対するパレットモード符号化情報を取得するステップは、前記現在ブロックのルマ成分に対するパレットモード符号化情報を取得するステップを含むことができる。例えば、前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用される場合、前記現在ブロックのルマ成分に対するパレットモード予測のための情報がビットストリームから取得されることができる。
【0203】
このとき、現在ブロックのルマ成分に対するパレットモード符号化情報は、前記現在ブロックのルマ成分ブロックのサイズに基づいて取得されることができる。例えば、前述した
図13の実施例でのように、palette_coding()シンタックスは、現在ブロックのルマ成分ブロックの幅(例えば、cbWidth)と現在ブロックのルマ成分ブロックの高さ(例えば、cbHeight)に基づいて行われることができる。
【0204】
一方、前記現在ブロックに対するパレットモード符号化情報を取得するステップは、前記現在ブロックのクロマ成分に対するパレットモード符号化情報を取得するステップをさらに含むことができる。例えば、前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプである場合、前記現在ブロックのクロマ成分に対するパレットモード予測のための情報が前記ビットストリームから取得されることができる。
【0205】
このとき、現在ブロックのクロマ成分に対するパレットモード符号化情報は、前記現在ブロックのクロマ成分ブロックのサイズに基づいて取得されることができる。例えば、前述した
図13の実施例でのように、palette_coding()シンタックスは、現在ブロックのクロマ成分ブロックの幅(例えば、cbWidth/subWidthC)と現在ブロックのクロマ成分ブロックの高さ(例えば、cbHeight/subHeightC)に基づいて行われることができる。subWidthCとsubHeightCは、ルマ成分ブロックに対するクロマ成分ブロックの高さと幅の比率であり得る。一実施例において、subWidthCとsubHeightCは、
図10に示すように、chroma_format_idc及びseparate_cour_plane_flagに基づいて決定されることができる。
【0206】
次に、復号化装置は、前記現在ブロックにパレットモードが適用されなければ、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得することができる(S2540)。例えば、復号化装置は、パレットモードが適用されなければ、
図23を参照して説明したように、CCLM予測情報(例えば、cclm_mode_flag、cclm_mode_idx)又はクロマ成分イントラ予測情報(例えば、intra_chroma_pred_mode)をビットストリームから取得することができる。一方、現在ブロックにパレットモードが適用されれば、前記ビットストリームから前記クロマ成分予測情報を取得しないことができる。
【0207】
より詳細には、前記CCLM予測のための情報は、CCLM予測が行われるか否かを示すCCLMフラグ(例えば、cclm_mode_flag)と、CCLM予測のモードを示すCCLMモードインデックス(例えば、cclm_mode_idx)とを含むことができる。前記CCLMフラグは、前記現在ブロックに対してCCLM予測が利用可能である場合、前記ビットストリームから取得されることができる。前記CCLMモードインデックスは、前記CCLMフラグが、CCLM予測が行われることを示す場合、前記ビットストリームから取得されることができる。
【0208】
一方、前記CCLMフラグが、前記CCLM予測が行われないことを示す場合、前記クロマ成分イントラ予測情報(例えば、intra_chroma_pred_mode)が前記ビットストリームから取得されることができる。
【0209】
応用実施例
【0210】
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
【0211】
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
【0212】
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
【0213】
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
【0214】
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)などを含むことができる。
【0215】
図26は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
【0216】
図26に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
【0217】
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
【0218】
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
【0219】
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望のサービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割を果たすことができる。
【0220】
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
【0221】
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device)、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、デジタルTV、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
【0222】
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
【0223】
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体(non-transitory computer-readable medium)を含む。
【産業上の利用可能性】
【0224】
本開示による実施例は、画像を符号化/復号化することに利用可能である。
【手続補正書】
【提出日】2024-06-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像復号化装置によって行われる画像復号化方法であって、
画像を分割して現在ブロックを決定するステップと、
ビットストリームから取得されたパレットモードフラグに基づいて、前記現在ブロックにパレットモードが適用されるか否かを識別するステップと、
前記現在ブロックのツリータイプ、および前記パレットモードが前記現在ブロックに適用されるかに基づいて、前記ビットストリームから前記現在ブロックのパレットモードエンコーディング情報を取得するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないことに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックに前記パレットモードが適用されないことに基づいて、前記ビットストリームから現在ブロックのクロマ成分予測情報を取得するステップと、を含み、
前記クロマ成分予測情報は、クロマ成分リニアモデル(CCLM)予測に対する情報又はクロマ成分インター予測情報である、画像復号化方法。
【請求項2】
前記現在ブロックに前記パレットモードが適用されることに基づいて、前記ビットストリームから前記クロマ成分予測情報が取得されない、請求項1に記載の画像復号化方法。
【請求項3】
前記現在ブロックのツリータイプがシングルツリータイプ又はデュアルツリールマタイプであり、前記現在ブロックにパレットモードが適用されることに基づいて、前記現在ブロックのルマ成分のパレットモード予測のための情報が前記ビットストリームから取得される、請求項1に記載の画像復号化方法。
【請求項4】
前記現在ブロックのルマ成分のパレットモード符号化情報を取得するステップは、前記現在ブロックのルマ成分ブロックのサイズに基づいて行われる、請求項3に記載の画像復号化方法。
【請求項5】
前記現在ブロックに前記パレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプであることに基づいて、前記現在ブロックのクロマ成分のパレットモード予測のための情報が前記ビットストリームから取得される、請求項1に記載の画像復号化方法。
【請求項6】
前記現在ブロックのクロマ成分のパレットモード符号化情報を取得するステップは、前記現在ブロックのクロマ成分ブロックのサイズに基づいて行われる、請求項5に記載の画像復号化方法。
【請求項7】
前記CCLM予測のための情報は、CCLM予測が行われるか否かを示すCCLMフラグと、CCLM予測のモードを示すCCLMモードインデックスとを含み、
前記CCLMフラグは、前記現在ブロックに対してCCLM予測が利用可能であることに基づいて、前記ビットストリームから取得され、
前記CCLMモードインデックスは、前記CCLMフラグが、CCLM予測が行われることを示すことに基づいて、前記ビットストリームから取得される、請求項1に記載の画像復号化方法。
【請求項8】
前記CCLMフラグが、前記CCLM予測が行われないことを示すことに基づいて、クロマ成分イントラ予測情報が前記ビットストリームから取得される、請求項7に記載の画像復号化方法。
【請求項9】
画像符号化装置によって行われる画像符号化方法であって、
画像を分割して現在ブロックを決定するステップと、
前記現在ブロックの予測モードを決定するステップと、
前記現在ブロックの予測モードがパレットモードであるか否かに基づいて、前記現在ブロックの予測モードがパレットモードであるか否かを示すパレットモードフラグを符号化するステップと、
前記現在ブロックのツリータイプと、前記現在ブロックの予測モーロが前記パレットモードに適用されるかに基づいて、前記現在ブロックがパレットモードで符号化されるパレットモード符号化情報を符号化するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックの予測モードがパレットモードでないことに基づいて、現在ブロックのクロマ成分予測情報を符号化するステップと、を含み、
前記クロマ成分予測情報は、クロマ成分リニアモデル(CCLM)予測に対する情報又はクロス成分インター予測情報である、画像符号化方法。
【請求項10】
前記現在ブロックにパレットモードが適用されることに基づいて、前記クロマ成分予測情報は符号化されない、請求項9に記載の画像符号化方法。
【請求項11】
前記現在ブロックにパレットモードが適用され、前記現在ブロックのツリータイプがデュアルツリークロマタイプであることに基づいて、前記現在ブロックのクロマ成分がパレットモードで符号化されたパレットモード符号化情報が符号化され、
前記現在ブロックにパレットモードが適用されないことに基づいて、CCLM(Cross-component linear model)予測のための情報又はクロマ成分イントラ予測情報は前記クロマ成分予測情報として符号化される、請求項9に記載の画像符号化方法。
【請求項12】
画像符号化方法によって生成されたビットストリームを伝送する方法であって、
画像を分割して現在ブロックを決定するステップと、
前記現在ブロックの予測モードを決定するステップと、
前記現在ブロックのツリータイプと、前記現在ブロックの予測モーロがパレットモードに適用されるかに基づいて、前記現在ブロックがパレットモードで符号化されるパレットモード符号化情報を符号化するステップと、
前記現在ブロックのツリータイプがデュアルツリークロマタイプでないこと又は前記パレットモードが前記現在ブロックに適用されないことに基づいて、前記パレットモードが前記現在ブロックに適用されるかを決定するステップと、
前記現在ブロックの予測モードが、前記現在ブロックのパレットモードとクロマ成分予測情報であるかを示すパレットモードフラグの少なくとも一つを符号化することにより前記ビットストリームを生成するステップとを含み、
前記現在ブロックの予測モードが前記パレットモードでないことに基づいて、前記クロマ成分予測情報は符号化され、
前記クロマ成分予測情報は、クロマ成分リニアモデル(CCLM)予測に対する情報又はクロス成分インター予測情報である、ビットストリームを伝送する方法。