特許 7425080 クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】クロマ成分を予測するビデオ符号化及び復号方法、及びクロマ成分を予測するビデオ符号化及び復号装置

(51)【国際特許分類】

   H04N 19/186 20140101AFI20240123BHJP

   H04N 19/102 20140101ALI20240123BHJP

   H04N 19/85 20140101ALI20240123BHJP

   H04N 19/60 20140101ALI20240123BHJP

   H04N 19/14 20140101ALI20240123BHJP

   H04N 19/159 20140101ALI20240123BHJP

【ＦＩ】

H04N19/186

H04N19/102

H04N19/85

H04N19/60

H04N19/14

H04N19/159

【請求項の数】 11

(21)【出願番号】P 2021549642

(86)(22)【出願日】2020-02-28

(65)【公表番号】

(43)【公表日】2022-04-22

(86)【国際出願番号】 KR2020002929

(87)【国際公開番号】W WO2020175970

(87)【国際公開日】2020-09-03

【審査請求日】2023-02-21

(31)【優先権主張番号】62/811,672

(32)【優先日】2019-02-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/840,003

(32)【優先日】2019-04-29

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ピョ，インジ

(72)【発明者】

【氏名】タムセ，アニッシュ

(72)【発明者】

【氏名】パク，ミンス

(72)【発明者】

【氏名】パク，ミンウ

(72)【発明者】

【氏名】ジョン，スンス

(72)【発明者】

【氏名】チェー，キホ

(72)【発明者】

【氏名】チェー，ナレ

(72)【発明者】

【氏名】チェー，ウンイル

【審査官】久保 光宏

(56)【参考文献】

【文献】Jani Lainema，"CE7-related: Joint coding of chrominance residuals"，Document: JVET-M0305, [online]，JVET-M0305 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年01月16日，Pages 1-5，[令和5年12月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5112> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0305-v3.zip>.，(See document file "JVET-M0305-v2.docx" in the zip file "JVET-M0305-v3.zip".)

【文献】Christian Helmrich, et al.，"CE7-related: Joint chroma residual coding with multiple modes"，Document: JVET-N0282-v3, [online]，JVET-N0282 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年03月21日，Pages 1-10，[令和4年8月18日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6003> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0282-v3.zip>.，(See document file "JVET-N0282-v3.docx" in the zip file "JVET-N0282-v3.zip".)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ１９／００－１９／９８

ＣＳＤＢ（日本国特許庁）

学術文献等データベース（日本国特許庁）

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得する段階と、
前記ビットストリームから、前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得する段階と、
前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記現在ブロックで前記Ｃｂ成分のレジデュアルサンプルと前記Ｃｒ成分のレジデュアルサンプルとを獲得するために、１つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を前記ビットストリームから獲得する段階と、
前記ビットストリームから、前記現在ブロックのクロマレジデュアルサンプルを獲得する段階と、
前記クロマジョイント情報が前記現在ブロックにおいて前記１つのブロックのクロマレジデュアルサンプルが符号化されることを示すとき、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階と、
前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルを復元する段階と、を含むことを特徴とするビデオ復号方法。

【請求項2】

前記１つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を獲得する段階は、
前記符号化単位の予測タイプがイントラ予測モードである場合に、前記クロマジョイント情報を獲得する段階を含むことを特徴とする請求項１に記載のビデオ復号方法。

【請求項3】

前記Ｃｒ成分のレジデュアルサンプルの加重値は、－１／２であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、１であることを特徴とする請求項１に記載のビデオ復号方法。

【請求項4】

前記Ｃｒ成分のレジデュアルサンプルの加重値は、－１であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、１であることを特徴とする請求項１に記載のビデオ復号方法。

【請求項5】

前記Ｃｒ成分のレジデュアルサンプルの加重値は、１であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、－１／２であることを特徴とする請求項１に記載のビデオ復号方法。

【請求項6】

前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、
前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、前記選択された１つのジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階を含むことを特徴とする請求項１に記載のビデオ復号方法。

【請求項7】

ビデオ復号装置において、
ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得し、前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得し、前記現在ブロックにおいて前記Ｃｂ成分のレジデュアルサンプルと前記Ｃｒ成分のレジデュアルサンプルとを獲得するために、１つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を獲得し、前記現在ブロックのクロマレジデュアルサンプルを獲得する獲得部と、
前記クロマジョイント情報が前記現在ブロックにおいて前記１つのブロックのクロマレジデュアルサンプルが符号化されることを示すとき、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定し、前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルを復元する復号部と、を含むことを特徴とするビデオ復号装置。

【請求項8】

前記獲得部は、前記ビットストリームから、前記符号化単位の予測タイプがイントラ予測モードである場合、前記クロマジョイント情報を獲得することを特徴とする請求項７に記載のビデオ復号装置。

【請求項9】

前記復号部は、
前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、前記選択されたジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定することを特徴とする請求項７に記載のビデオ復号装置。

【請求項10】

現在ブロックを含む符号化単位の予測タイプを決定する段階と、
前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を決定する段階と、
前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記現在ブロックにおいて前記Ｃｂ成分のレジデュアルサンプルと前記Ｃｒ成分のレジデュアルサンプルとを獲得するために１つのブロックのクロマレジデュアルサンプルが符号化されるか否かを示すクロマジョイント情報を生成する段階と、
前記現在ブロックのクロマレジデュアルサンプルを生成する段階と、
前記現在ブロックにおいて前記１つのブロックのクロマレジデュアルサンプルが符号化されるとき、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階と、を含み、
前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルが復元され、前記現在ブロックのクロマレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルが復元されることを特徴とするビデオ符号化方法。

【請求項11】

前記クロマジョイント情報を生成する段階は、前記符号化単位の予測タイプがイントラ予測タイプである場合、前記クロマジョイント情報を生成する段階を含む
ことを特徴とする請求項１０に記載のビデオ符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の符号化及び復号分野に係り、さらに具体的に、クロマ成分を予測するビデオを符号化及び復号する方法及び装置に関する。

【背景技術】

【0002】

高い画質のビデオは、符号化時に多量のデータが要求される。しかし、ビデオデータを伝達するために許容される帯域幅は限定されており、ビデオデータ伝送時に適用されるデータレートが制限されうる。したがって、効率的なビデオデータの伝送のために、画質の劣化を最小化しながら、圧縮率を増加させたビデオデータの符号化及び復号方法が必要である。

【0003】

ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することで圧縮されうる。隣接したピクセル間に共通の特徴を有することが一般的であるので、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。

【0004】

データ単位に含まれたピクセルのピクセル値は、直接伝送されず、ピクセル値を獲得するのに必要な方法が伝送される。ピクセル値を原本値と類似して予測する予測方法がデータ単位ごとに決定され、予測方法についての符号化情報が符号化器から復号器に伝送される。また、予測値が原本値と完全に同一ではないので、原本値と予測値との差に係わるレジデュアルデータが符号化器から復号器に伝送される。

【0005】

予測が正確になるほど予測方法を特定するのに必要な符号化情報が増加するが、レジデュアルデータのサイズが減少する。したがって、符号化情報とレジデュアルデータのサイズを考慮して予測方法が決定される。特に、ピクチャーから分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど予測正確度の減少可能性が高いが、一方、符号化情報が減少する。したがって、ピクチャーの特性に合わせてブロックのサイズが決定される。

【0006】

また、予測方法には、イントラ予測とインター予測がある。イントラ予測は、ブロックが周辺ピクセルからブロックのピクセルを予測する方法である。インター予測は、ブロックの含まれたピクチャーが参照する他のピクチャーのピクセルを参照してピクセルを予測する方法である。したがって、イントラ予測によって空間的重複性が除去され、インター予測によって時間的重複性が除去される。

【0007】

予測方法の数が増加するほど予測方法を示すための符号化情報の量は増加する。したがって、ブロックに適用される符号化情報も他のブロックから予測して符号化情報のサイズを減らすことができる。

【0008】

人間の視覚が認知できない限度でビデオデータの損失が許容されるところ、レジデュアルデータを変換及び量子化過程によって損失圧縮(lossy compression)してレジデュアルデータ量を減少させうる。

【発明の概要】

【発明が解決しようとする課題】

【0009】

一実施例によるピクチャーのクロマ成分、すなわち、Ｃｒ成分及びＣｂ成分を効率的に符号化及び復号することを技術的課題とする。

【課題を解決するための手段】

【0010】

本発明の一実施例によるビデオ復号方法は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得する段階；前記ビットストリームから、前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得する段階；前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する段階；及び前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルを復元する段階；を含む。

【発明の効果】

【0011】

一実施例によるクロマ成分を予測するビデオ符号化方法、復号方法、符号化装置及び復号装置は、クロマ成分を予測するＣｂ成分及びＣｒ成分間の類似性を用いて効果的にクロマ成分を符号化及び復号する方法を提供する。

【0012】

但し、一実施例によるクロマ成分を予測するビデオ符号化方法、復号方法、符号化装置及び復号装置が達成可能な効果は、以上で言及したものに制限されず、言及していないさらに他の効果は、下記記載から本発明が属する技術分野で通常の知識を有する者に明確に理解されるであろう。

【図面の簡単な説明】

【0013】

本明細書で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

【図1】一実施例による映像復号装置の概略的なブロック図である。

【図2】一実施例による映像復号方法のフローチャートである。

【図3】一実施例によって映像復号装置が現在符号化単位を分割して少なくとも１つの符号化単位を決定する過程を示す図面である。

【図4】一実施例によって映像復号装置が非正方形である符号化単位を分割して少なくとも１つの符号化単位を決定する過程を示す図面である。

【図5】一実施例によって映像復号装置がブロック形態情報及び分割形態モード情報のうち、少なくとも１つに基づいて符号化単位を分割する過程を示す図面である。

【図6】一実施例によって映像復号装置が奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を示す図面である。

【図7】一実施例によって映像復号装置が現在符号化単位を分割して複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を示す図面である。

【図8】一実施例によって映像復号装置が所定の順序による符号化単位の処理が不可能な場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を示す図面である。

【図9】一実施例によって映像復号装置が第１符号化単位を分割して少なくとも１つの符号化単位を決定する過程を示す図面である。

【図10】一実施例によって映像復号装置が第１符号化単位が分割されて決定された非正方形の第２符号化単位が所定の条件を満足する場合、第２符号化単位の分割可能な形態が制限されることを示す図面である。

【図11】一実施例によって分割形態モード情報が４個の正方形の符号化単位に分割することを示すことができない場合、映像復号装置が正方形の符号化単位を分割する過程を示す図面である。

【図12】一実施例によって複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なることを示す図面である。

【図13】一実施例によって符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが異なることによって符号化単位の深度が決定される過程を示す図面である。

【図14】一実施例によって符号化単位の形態及び大きさによって決定される深度及び符号化単位の区分のためのインデックス(part index,以下ＰＩＤ）を示す図面である。

【図15】一実施例によってピクチャーに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを示す図面である。

【図16】映像符号化及び復号システムを示すブロック図である。

【図17】一実施例によるビデオ復号装置を示すブロック図である。

【図18】一実施例によるビデオ復号方法を示すフローチャートである。

【図19】一実施例によるビデオ符号化装置を示すブロック図である。

【図20】一実施例によるビデオ符号化方法を示すフローチャートである。

【図21】一実施例によるＣｂ成分、Ｃｒ成分、及びクロマ符号化成分間の関係を示すグラフである。

【図22】一実施例によるＣｂ成分、Ｃｒ成分及びクロマ符号化成分間の関係式を示す図面である。

【図23】一実施例によるtransform unit syntaxを示す図面である。

【図24】一実施例によるＣｂ ｃｂｆ値、Ｃｒ ｃｂｆの組合わせに係わって、Ｃｂ成分、Ｃｒ成分及びクロマ符号化成分間の関係式を示す図面である。

【発明を実施するための形態】

【0014】

本発明で提供される一実施例による動き情報の復号方法は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得する段階；前記ビットストリームから、前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得する段階；前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する段階；及び、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルを復元する段階；を含んでもよい。

【0015】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記現在ブロックで前記Ｃｂ成分のレジデュアルサンプル及び対応する前記Ｃｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得する段階；及び前記クロマジョイント情報が前記現在ブロックにおいて１つのクロマサンプルが符号化されることを示すとき、前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；を含んでもよい。

【0016】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値は、－１／２であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、１である。

【0017】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値は、－１であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、１である。

【0018】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値は、１であり、前記Ｃｂ成分のレジデュアルサンプルの加重値は、－１／２である。

【0019】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定する段階を含んでもよい。

【0020】

一実施例によって、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがイントラ予測モードであるとき、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、前記選択された１つのジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階を含む。

【0021】

一実施例による前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階を含む。

【0022】

一実施例による前記ビデオ復号方法は、前記クロマジョイント情報、前記Ｃｒ成分のためのｃｂｆ情報、及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を含むジョイントモードを決定する段階；及び前記ジョイントモードに基づいて、前記現在ブロックのための量子化パラメータを決定する段階；を含む。

【0023】

本発明で提案する一実施例によるビデオ復号装置は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得し、前記ビットストリームから、前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得し、前記ビットストリームから、前記現在ブロックのクロマジョイントレジデュアルサンプルを獲得する獲得部；及び前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルを復元し、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルを復元する復号部；を含む。

【0024】

一実施例による前記獲得部は、前記ビットストリームから、前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記現在ブロックで前記Ｃｂ成分のレジデュアルサンプル及び対応する前記Ｃｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得し、前記復号部は、前記クロマジョイント情報が、１つのクロマサンプルが符号化されることを示すとき、前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定し、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。

【0025】

一実施例による前記復号部は、前記符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する。

【0026】

本発明で提案する一実施例によるビデオ符号化方法は、現在ブロックを含む符号化単位の予測タイプを決定する段階；前記現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を決定する段階；前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；及び前記現在ブロックのクロマジョイントレジデュアルサンプルを生成する段階；を含み、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｒ成分のレジデュアルサンプルの加重値を用いて前記Ｃｒ成分のレジデュアルサンプルが復元され、前記現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルが復元されうる。

【0027】

一実施例による前記ビデオ符号化方法は、前記現在ブロックで前記Ｃｂ成分のレジデュアルサンプル及び対応する前記Ｃｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成する段階をさらに含み、前記現在ブロックにおいて１つのクロマサンプルが符号化されるとき、前記符号化単位の予測タイプ、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値が決定され、前記符号化単位の予測タイプが、イントラ予測モードであるか、あるいは、インター予測モードであるかによって、前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。

【0028】

一実施例によって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階は、前記符号化単位の予測タイプがイントラ予測モードであるとき、前記Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、前記選択されたジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；及び前記符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによって前記Ｃｒ成分のレジデュアルサンプルの加重値及び前記Ｃｂ成分のレジデュアルサンプルの加重値を決定する段階；を含む。

【0029】

本発明の一実施例によるビデオ復号方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。

【0030】

本発明の一実施例によるビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。

【0031】

本発明は、多様な変更を加え、様々な実施例を有することができるところ、特定の実施例を図面に例示し、これを詳細な説明を通じて詳細に説明する。しかし、これは、本開示の実施形態について限定しようとするものではなく、本開示は、複数の実施例の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むと理解されねばならない。

【0032】

実施例を説明する際に、関連した公知技術に係わる具体的な説明が本開示の要旨を不要に不明にすると判断される場合、その詳細な説明を省略する。また、明細書の説明過程で用いられる数字（例えば、第１、第２など）は、１つの構成要素を他の構成要素と区分するための識別記号に過ぎない。

【0033】

また、本明細書において、一構成要素が他の構成要素と「連結される」または「接続される」などと言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、または直接接続されるが、特に反対となる記載が存在しない限り、中間にさらに他の構成要素を媒介して連結されるか、または接続されると理解されねばならない。

【0034】

また、本明細書において、「～部（ユニット）」、「モジュール」などと表現される構成要素は、２個以上の構成要素が１つの構成要素に組み合わせられるか、または、１つの構成要素がさらに細分化された機能別に２個以上にも分化されうる。また、以下で説明する構成要素それぞれは、担当する主機能以外にも他の構成要素が担当する機能のうち、一部または全部の機能をさらに遂行し、構成要素それぞれが担当する主機能のうち、一部機能が他の構成要素によって専担して遂行されてもよいということは言うまでもない。

【0035】

また、本明細書において、「映像(image)」または「ピクチャー」は、ビデオの静止映像であるか、動画、すなわち、ビデオそのものを示す。

【0036】

また、本明細書において「サンプル」は、映像のサンプリング位置に割り当てられたデータであって、プロセッシング対象となるデータを意味する。例えば、空間領域の映像において画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックであると定義する。

【0037】

また、本明細書において、「現在ブロック(Current Block)」は、符号化または復号しようとする現在映像の最大符号化単位、符号化単位、予測単位または、変換単位のブロックを意味する。

【0038】

また、本明細書において、ある動きベクトルがリスト０方向であるということは、リスト０に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルということを意味し、ある動きベクトルがリスト１方向であるということは、リスト１に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルであるということを意味する。また、ある動きベクトルが単方向であるということは、リスト０またはリスト１に含まれた参照ピクチャー内のブロックを示すために用いられる動きベクトルであるということを意味し、ある動きベクトルが双方向であるということは、動きベクトルがリスト０方向の動きベクトルとリスト１方向の動きベクトルを含むということを意味する。

【0039】

以下、図１ないし図１６に基づいて一実施例によって映像符号化装置及び映像復号装置、映像符号化方法及び映像復号方法が説明される。図３ないし図１６に基づいて一実施例によって映像のデータ単位を決定する方法が説明され、図１７ないし図２８を参照して、一実施例によるタイル及びタイルグループを用いるビデオ符号化／復号方法が後述される。

【0040】

以下、図１及び図２を参照して本開示の一実施例によって多様な形態の符号化単位に基づいて適応的に選択するための方法及び装置が説明される。

【0041】

図１は、一実施例によって映像復号装置を概略的に示すブロック図である。

【0042】

映像復号装置１００は、受信部１１０及び復号部１２０を含む。受信部１１０及び復号部１２０は、少なくとも１つのプロセッサを含んでもよい。また、受信部１１０及び復号部１２０は、少なくとも１つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。

【0043】

受信部１１０は、ビットストリームを受信することができる。ビットストリームは、後述する映像符号化装置２２００が映像を符号化した情報を含む。また、ビットストリームは、映像符号化装置２２００から伝送されうる。映像符号化装置２２００及び映像復号装置１００は、有線または無線で連結され、受信部１１０は、有線または無線を通じてビットストリームを受信することができる。受信部１１０は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部１２０は、受信されたビットストリームから獲得された情報に基づいて映像を復元することができる。復号部１２０は、映像を復元するためのシンタックスエレメントをビットストリームから獲得することができる。復号部１２０は、シンタックスエレメントに基づいて映像を復元することができる。

【0044】

映像復号装置１００の動作については、図２と共にさらに詳細に説明する。

【0045】

図２は、一実施例によって映像復号方法を示すフローチャートである。

【0046】

本発明の一実施例によれば、受信部１１０は、ビットストリームを受信する。

【0047】

映像復号装置１００は、ビットストリームから符号化単位の分割形態モードに対応するビンストリングを獲得する段階（２１０）を遂行する。映像復号装置１００は、符号化単位の分割規則を決定する段階（２２０）を遂行する。また、映像復号装置１００は、分割形態モードに対応するビンストリング及び前記分割規則のうち、少なくとも１つに基づいて、符号化単位を複数の符号化単位に分割する段階（２３０）を遂行する。映像復号装置１００は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位のサイズの許容可能な第１範囲を決定することができる。映像復号装置１００は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位のサイズの許容可能な第２範囲を決定することができる。

【0048】

以下、本開示の一実施例によって符号化単位の分割について詳細に説明する。

【0049】

まず、１枚のピクチャー(Picture)は、１つ以上のスライスあるいは、１つ以上のタイルに分割されうる。１つのスライスあるいは、１つのタイルは、１つ以上の最大符号化単位(Coding Tree Unit; CTU)のシーケンスでもある。最大符号化単位（ＣＴＵ）と対比される概念として、最大符号化ブロック(Coding Tree Block; CTB)がある。

【0050】

最大符号化ブロック（ＣＴＢ）は、ＮｘＮ個のサンプルを含むＮｘＮブロックを意味する（Ｎは、整数）。各カラー成分は、１つ以上の最大符号化ブロックに分割されうる。

【0051】

ピクチャーが３個のサンプルアレイ（Ｙ、Ｃｒ、Ｃｂ成分別サンプルアレイ）を有する場合、最大符号化単位（ＣＴＵ）とは、ルマサンプルの最大符号化ブロック及びそれに対応するクロマサンプルの２個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがモノクロームピクチャーである場合に最大符号化単位とは、モノクロームサンプルの最大符号化ブロックとモノクロームサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがカラー成分別に分離されるカラープレーンに符号化されるピクチャーである場合に最大符号化単位とは、当該ピクチャーとピクチャーのサンプルを符号化するのに用いられるシンタックス構造を含む単位である。

【0052】

１つの最大符号化ブロック（ＣＴＢ）は、ＭｘＮ個のサンプルを含むＭｘＮ符号化ブロック(coding block)に分割されうる（Ｍ、Ｎは、整数）。

【0053】

ピクチャーがＹ、Ｃｒ、Ｃｂ成分別サンプルアレイを有する場合に符号化単位（ＣｏｄｉｎｇＵｎｉｔ；ＣＵ）とは、ルマサンプルの符号化ブロック及びそれに対応するクロマサンプルの２個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがモノクロームピクチャーである場合に符号化単位とは、モノクロームサンプルの符号化ブロックとモノクロームサンプルを符号化するのに用いられるシンタックス構造を含む単位である。ピクチャーがカラー成分別に分離するカラープレーンに符号化されるピクチャーである場合に符号化単位とは、当該ピクチャーとピクチャーのサンプルを符号化するのに用いられるシンタックス構造を含む単位である。

【0054】

前述したように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、（最大）符号化単位は、当該サンプルを含む（最大）符号化ブロックとそれに対応するシンタックス構造を含むデータ構造を意味する。しかし、当業者が（最大）符号化単位または（最大）符号化ブルロックが所定個数のサンプルを含む所定サイズのブロックを指称するということを理解することができるので、以下、明細書では、最大符号化ブロックと最大符号化単位、または符号化ブロックと符号化単位を特別な事情がない限り、区別せず、言及する。

【0055】

映像は、最大符号化単位(Coding Tree Unit; CTU)に分割されうる。最大符号化単位のサイズは、ビットストリームから獲得された情報に基づいて決定されうる。最大符号化単位の形状は、同一サイズの正方形を有することができる。しかし、それに限定されるものではない。

【0056】

例えば、ビットストリームからルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６のうち、１つでもある。

【0057】

例えば、ビットストリームから２分割が可能なルマ符号化ブロックの最大サイズとルマブロックサイズ差に係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と２分割が可能な最大ルマ符号化ブロックとのサイズ差を示すことができる。したがって、ビットストリームから獲得された２分割が可能なルマ符号化ブロックの最大サイズに係わる情報とルマブロックサイズ差に係わる情報を結合すれば、ルマ最大符号化単位のサイズが決定されうる。ルマ最大符号化単位のサイズを利用すれば、クロマ最大符号化単位のサイズも決定することができる。例えば、カラーフォーマットによってＹ：Ｃｂ：Ｃｒ比率が４：２：０であれば、クロマブロックのサイズは、ルマブロックのサイズの半分でもあるし、同じくクロマ最大符号化単位のサイズは、ルマ最大符号化単位のサイズの半分でもある。

【0058】

一実施例によれば、バイナリー分割(binary split)が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリー分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。これと異なって、ターナリー分割(ternary split)が可能なルマ符号化ブロックの最大サイズは固定されうる。例えば、Ｉピクチャーでターナリー分割が可能なルマ符号化ブロックの最大サイズは、３２ｘ３２であり、ＰピクチャーまたはＢピクチャーでターナリー分割が可能なルマ符号化ブロックの最大サイズは、６４ｘ６４でもある。

【0059】

また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づいて符号化単位で階層的に分割されうる。分割形態モード情報として、クアッド分割(quad split)如何を示す情報、多分割如何を示す情報、分割方向情報及び分割タイプ情報のうち、少なくとも１つがビットストリームから獲得されうる。

【0060】

例えば、クアッド分割(quad split)如何を示す情報は、現在符号化単位がクアッド分割（ＱＵＡＤ＿ＳＰＬＩＴ）されるか否かを示す。

【0061】

現在符号化単位がクアッド分割されなければ、多分割如何を示す情報は、現在符号化単位がこれ以上分割されないか（ＮＯ＿ＳＰＬＩＴ）、それともバイナリー／ターナリー分割されるかを示す。

【0062】

現在符号化単位がバイナリー分割されるか、ターナリー分割されれば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち、１つに分割されることを示す。

【0063】

現在符号化単位が水平または、垂直方向に分割されれば、分割タイプ情報は、現在符号化単位をバイナリー分割）またはターナリー分割に分割することを示す。

【0064】

分割方向情報及び分割タイプ情報によって、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリー分割される場合の分割モードは、バイナリー水平分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、水平方向にターナリー分割される場合のターナリー水平分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）、垂直方向にバイナリー分割される場合の分割モードは、バイナリー垂直分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）及び垂直方向にターナリー分割される場合の分割モードは、ターナリー垂直分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）に決定されうる。

【0065】

映像復号装置１００は、ビットストリームから分割形態モード情報を１つのビンストリングから獲得する。映像復号装置１００が受信したビットストリームの形態は、Fixed length binary code, Unary code, Truncated unary code、既決定のバイナリーコードなどを含んでもよい。ビンストリングは、情報を２進数の羅列で示したものである。ビンストリングは、少なくとも１つのビットで構成されうる。映像復号装置１００は、分割規則に基づいてビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置１００は、１つのビンストリングに基づいて、符号化単位をクアッド分割するか否か、または分割方向及び分割タイプを決定することができる。

【0066】

符号化単位は、最大符号化単位よりも小さいか、同一である。例えば、最大符号化単位も最大サイズを有する符号化単位なので、符号化単位の１つである。最大符号化単位に係わる分割形態モード情報が分割されていないことを示す場合、最大符号化単位で決定される符号化単位は、最大符号化単位と同じ大きさを有する。最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、最大符号化単位は、符号化単位に分割されうる。また、符号化単位に係わる分割形態モード情報が分割を示す場合、符号化単位は、さらに小さいサイズの符号化単位に分割されうる。但し、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されない場合もある。符号化単位の分割については、図３ないし図１６でさらに詳細に説明する。

【0067】

また、符号化単位から予測のための１つ以上の予測ブロックが決定されうる。予測ブロックは、符号化単位と同一であるか、小さい。また、符号化単位から変換のための１つ以上の変換ブロックが決定される。変換ブロックは、符号化単位と同一であるか、小さい。

【0068】

変換ブロックと予測ブロックの形状及び大きさは、互いに関係ない。

【0069】

他の実施例において、符号化単位が予測ブロックとして符号化単位を用いて予測が遂行されうる。また、符号化単位が変換ブロックとして符号化単位を用いて変換が遂行されうる。

【0070】

符号化単位の分割については、図３ないし図１６でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち、１つを示す。また、現在ブロックまたは現在符号化単位は、現在復号または、符号化が進められるブロックまたは現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。周辺ブロックは、現在ブロックから空間的または時間的に隣接してもよい。周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち、１つに位置しうる。

【0071】

図３は、一実施例によって映像復号装置が現在符号化単位を分割して少なくとも１つの符号化単位を決定する過程を示す。

【0072】

ブロック形態は、４Ｎｘ４Ｎ、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたは、Ｎｘ８Ｎを含んでもよい。ここで、Ｎは、正の整数でもある。ブロック形態情報は、符号化単位の形状、方向、幅、及び高さの比率、またはサイズのうち、少なくとも１つを示す情報である。

【0073】

符号化単位の形状は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの長さが同一である場合（すなわち、符号化単位のブロック形態が４Ｎｘ４Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を正方形に決定する。映像復号装置１００は、符号化単位の形状を非正方形に決定する。

【0074】

符号化単位の幅及び高さの長さが異なる場合（すなわち、符号化単位のブロック形態が４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたは、Ｎｘ８Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を非正方形に決定する。符号化単位の形状が非正方形である場合、映像復号装置１００は、符号化単位のブロック形態情報のうち、幅及び高さの比率を、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、１：３２、３２：１のうち、少なくとも１つに決定する。また、符号化単位の幅の長さ及び高さの長さに基づいて、映像復号装置１００は、符号化単位が水平方向であるか、垂直方向であるかを決定する。また、符号化単位の幅の長さ、高さの長さまたは広さのうち、少なくとも１つに基づいて、映像復号装置１００は、符号化単位のサイズを決定することができる。

【0075】

一実施例によって映像復号装置１００は、ブロック形態情報を用いて符号化単位の形態を決定し、分割形態モード情報を用いて符号化単位が如何なる形態に分割されるかを決定する。すなわち、映像復号装置１００が用いるブロック形態情報が如何なるブロック形態を示すかによって、分割形態モード情報が示す符号化単位の分割方法が決定されうる。

【0076】

映像復号装置１００は、ビットストリームから分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置１００及び映像符号化装置２２００は、ブロック形態情報に基づいて予め約束された分割形態モード情報を決定する。映像復号装置１００は、最大符号化単位または最小符号化単位に対して予め約束された分割形態モード情報を決定する。例えば、映像復号装置１００は、最大符号化単位に対して分割形態モード情報をクアッド分割(quad split)に決定することができる。また、映像復号装置１００は、最小符号化単位に対して分割形態モード情報を「分割しない」と決定しうる。具体的に、映像復号装置１００は、最大符号化単位のサイズを２５６ｘ２５６と決定しうる。映像復号装置１００は、予め約束された分割形態モード情報をクアッド分割と決定することができる。クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置１００は、分割形態モード情報に基づいて２５６ｘ２５６サイズの最大符号化単位から１２８ｘ１２８サイズの符号化単位を獲得することができる。また、映像復号装置１００は、最小符号化単位のサイズを４ｘ４と決定することができる。映像復号装置１００は、最小符号化単位に対して「分割しない」を示す分割形態モード情報を獲得することができる。

【0077】

一実施例によって、映像復号装置１００は、現在符号化単位が正方形であることを示すブロック形態情報を用いることができる。例えば、映像復号装置１００は、分割形態モード情報によって正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、４個の符号化単位に分割するかなどを決定する。図３を参照すれば、現在符号化単位３００のブロック形態情報が正方形を示す場合、復号部１２０は、分割されていないことを示す分割形態モード情報によって現在符号化単位３００と同じ大きさを有する符号化単位３１０ａを分割しないか、所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位３１０ｂ、３１０ｃ、３１０ｄ、３１０ｅ、３１０ｆなどを決定することができる。

【0078】

図３を参照すれば、映像復号装置１００は、一実施例によって垂直方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定する。映像復号装置１００は、水平方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。映像復号装置１００は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づいて現在符号化単位３００を垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定する。映像復号装置１００は、一実施例によって垂直方向にターナリー(ternary)分割されることを示す分割形態モード情報に基づいて現在符号化単位３００を垂直方向に分割した３つの符号化単位３１０ｅを決定することができる。映像復号装置１００は、水平方向にターナリー分割されることを示す分割形態モード情報に基づいて現在符号化単位３００を水平方向に分割した３つの符号化単位３１０ｆを決定することができる。但し、正方形の符号化単位が分割される分割形態は、上述した形態に限定して解釈されてはならず、分割形態モード情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定の分割形態は、以下で多様な実施例を通じて具体的に説明する。

【0079】

図４は、一実施例によって映像復号装置が非正方形である符号化単位を分割して少なくとも１つの符号化単位を決定する過程を図示する。

【0080】

一実施例によって映像復号装置１００は、現在符号化単位が非正方形であることを示すブロック形態情報を用いることができる。映像復号装置１００は、分割形態モード情報によって非正方形の現在符号化単位を分割しないか、所定の方法で分割するかを決定する。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が非正方形を示す場合、映像復号装置１００は、分割されていないことを示す分割形態モード情報によって現在符号化単位４００または４５０と同じ大きさを有する符号化単位４１０または４６０を決定するか、所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位４２０ａ、４２０ｂ、４３０ａ、４３０ｂ、４３０ｃ、４７０ａ、４７０ｂ、４８０ａ、４８０ｂ、４８０ｃを決定する。非正方形の符号化単位が分割される所定の分割方法は、以下で多様な実施例を通じて具体的に説明する。

【0081】

一実施例によって映像復号装置１００は、分割形態モード情報を用いて符号化単位が分割される形態を決定し、その場合、分割形態モード情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示す。図４を参照すれば、分割形態モード情報が２つの符号化単位に現在符号化単位４００または４５０が分割されることを示す場合、映像復号装置１００は、分割形態モード情報に基づいて現在符号化単位４００または４５０を分割して現在符号化単位に含まれる２つの符号化単位４２０ａ、４２０ｂ、または４７０ａ、４７０ｂを決定する。

【0082】

一実施例によって映像復号装置１００が分割形態モード情報に基づいて非正方形の現在符号化単位４００または４５０を分割する場合、映像復号装置１００は、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮して現在符号化単位を分割することができる。例えば、映像復号装置１００は、現在符号化単位４００または４５０の形態を考慮して、現在符号化単位４００または４５０の長辺を分割する方向に現在符号化単位４００または４５０を分割して複数個の符号化単位を決定することができる。

【0083】

一実施例によって、分割形態モード情報が奇数個のブロックに符号化単位を分割（ターナリー分割）することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定する。例えば、分割形態モード情報が３個の符号化単位に現在符号化単位４００または４５０を分割することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０を３個の符号化単位４３０ａ、４３０ｂ、４３０ｃ、４８０ａ、４８０ｂ、４８０ｃに分割することができる。

【0084】

一実施例によって、現在符号化単位４００または４５０の幅及び高さの比率が４：１または１：４でもある。幅及び高さの比率が４：１である場合、幅の長さが高さの長さよりも長いので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が１：４である場合、幅の長さが高さの長さよりも短いので、ブロック形態情報は、垂直方向でもある。映像復号装置１００は、分割形態モード情報に基づいて現在符号化単位を奇数個のブロックに分割することを決定する。また、映像復号装置１００は、現在符号化単位４００または４５０のブロック形態情報に基づいて現在符号化単位４００または４５０の分割方向を決定する。例えば、現在符号化単位４００が垂直方向である場合、映像復号装置１００は、現在符号化単位４００を水平方向に分割して符号化単位４３０ａ、４３０ｂ、４３０ｃを決定することができる。また、現在符号化単位４５０が水平方向である場合、映像復号装置１００は、現在符号化単位４５０を垂直方向に分割して符号化単位４８０ａ、４８０ｂ、４８０ｃを決定することができる。

【0085】

一実施例によって映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定し、決定された符号化単位のサイズがいずれも同一ではない。例えば、決定された奇数個の符号化単位４３０ａ、４３０ｂ、４３０ｃ、４８０ａ、４８０ｂ、４８０ｃのうち、所定の符号化単位４３０ｂまたは、４８０ｂのサイズは、他の符号化単位４３０ａ、４３０ｃ、４８０ａ、４８０ｃとは異なる大きさを有する。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数種のサイズを有し、場合によっては、奇数個の符号化単位４３０ａ、４３０ｂ、４３０ｃ、４８０ａ、４８０ｂ、４８０ｃがそれぞれ互いに異なる大きさを有する。

【0086】

一実施例によって分割形態モード情報が奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定し、かつ映像復号装置１００は、分割して生成される奇数個の符号化単位のうち、少なくとも１つの符号化単位に対して所定の制限を置くことができる。図４を参照すれば、映像復号装置１００は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ、４３０ｂ、４３０ｃ、４８０ａ、４８０ｂ、４８０ｃのうち、中央に位置する符号化単位４３０ｂ、４８０ｂに対する復号過程を他の符号化単位４３０ａ、４３０ｃ、４８０ａ、４８０ｃと異なって遂行することができる。例えば、映像復号装置１００は、中央に位置する符号化単位４３０ｂ、４８０ｂに対しては、他の符号化単位４３０ａ、４３０ｃ、４８０ａ、４８０ｃと異なって、それ以上分割されないように制限するか、所定の回数だけ分割されるように制限することができる。

【0087】

図５は、一実施例によって映像復号装置がブロック形態情報及び分割形態モード情報のうち、少なくとも１つに基づいて符号化単位を分割する過程を図示する。

【0088】

一実施例によって映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち、少なくとも１つに基づいて正方形の第１符号化単位５００を符号化単位に分割するか、分割しないことと決定する。一実施例によって分割形態モード情報が水平方向に第１符号化単位５００を分割することを示す場合、映像復号装置１００は、第１符号化単位５００を水平方向に分割して第２符号化単位５１０を決定する。一実施例によって用いられる第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために用いられた用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下では、用いられる第１符号化単位、第２符号化単位、及び第３符号化単位の関係は、上述した特徴によるものと理解されうる。

【0089】

一実施例によって映像復号装置１００は、決定された第２符号化単位５１０を分割形態モード情報に基づいて、符号化単位に分割するか、分割しないことに決定する。図５を参照すれば、映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位５００を分割して決定された非正方形の第２符号化単位５１０を少なくとも１つの第３符号化単位５２０ａ、５２０ｂ、５２０ｃ、５２０ｄなどに分割するか、第２符号化単位５１０を分割しない。映像復号装置１００は、分割形態モード情報を獲得し、映像復号装置１００は、獲得した分割形態モード情報に基づいて、第１符号化単位５００を分割して多様な形態の複数個の第２符号化単位（例えば、５１０）を分割し、第２符号化単位５１０は、分割形態モード情報に基づいて、第１符号化単位５００が分割された方式によって分割されうる。一実施例によって、第１符号化単位５００が第１符号化単位５００に係わる分割形態モード情報に基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も第２符号化単位５１０に係わる分割形態モード情報に基づいて、第３符号化単位（例えば、５２０ａ、５２０ｂ、５２０ｃ、５２０ｄなど）に分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づいて再帰的に分割されうる。したがって、非正方形の符号化単位で正方形の符号化単位が決定され、そのような正方形の符号化単位が再帰的に分割されて非正方形の符号化単位が決定されうる。

【0090】

図５を参照すれば、非正方形の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄのうち、所定の符号化単位（例えば、中央に位置する符号化単位または正方形の符号化単位）は、再帰的に分割されうる。一実施例によって奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄのうち、１つである非正方形の第３符号化単位５２０ｂは、水平方向に分割されて複数個の第４符号化単位に分割されうる。複数個の第４符号化単位５３０ａ、５３０ｂ、５３０ｃ、５３０ｄのうち、１つである非正方形の第４符号化単位５３０ｂまたは５３０ｄは、再び複数個の符号化単位に分割されうる。例えば、非正方形の第４符号化単位５３０ｂまたは５３０ｄは、奇数個の符号化単位に再び分割されうる。符号化単位の再帰的分割に用いられる方法については、多様な実施例を通じて後述する。

【0091】

一実施例によって映像復号装置１００は、分割形態モード情報に基づいて、第３符号化単位５２０ａ、５２０ｂ、５２０ｃ、５２０ｄなどそれぞれを符号化単位に分割する。また、映像復号装置１００は、分割形態モード情報に基づいて、第２符号化単位５１０を分割しないことに決定する。映像復号装置１００は、一実施例によって非正方形の第２符号化単位５１０を奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄに分割する。映像復号装置１００は、奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄのうち、所定の第３符号化単位に対して所定の制限を置く。例えば、映像復号装置１００は、奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄのうち、中央に位置する符号化単位５２０ｃに対しては、それ以上分割されないように制限するか、または設定可能な回数に分割されねばならないものと制限することができる。

【0092】

図５を参照すれば、映像復号装置１００は、非正方形の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ、５２０ｃ、５２０ｄのうち、中央に位置する符号化単位５２０ｃは、それ以上分割されないか、所定の分割形態に分割（例えば、４個の符号化単位にのみ分割するか、第２符号化単位５１０が分割された形態に対応する形態に分割）されることに制限するか、所定の回数にのみ分割（例えば、ｎ回だけ分割、ｎ＞０）することに制限することができる。但し、中央に位置した符号化単位５２０ｃに対する前記制限は、単なる実施例に過ぎないので、上述した実施例によって制限されて解釈されてはならず、中央に位置した符号化単位５２０ｃが他の符号化単位５２０ｂ、５２０ｄと異なって復号される多様な制限を含むと解釈されねばならない。

【0093】

一実施例によって映像復号装置１００は、現在符号化単位を分割するために用いられる分割形態モード情報を現在符号化単位内の所定の位置で獲得しうる。

【0094】

図６は、一実施例によって映像復号装置が奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する。

【0095】

図６を参照すれば、現在符号化単位６００、６５０の分割形態モード情報は、現在符号化単位６００、６５０に含まれる複数個のサンプルのうち、所定位置のサンプル（例えば、中央に位置するサンプル６４０、６９０）で獲得されうる。但し、そのような分割形態モード情報のうち、少なくとも１つが獲得される現在符号化単位６００内の所定位置が図６で図示する中央に位置に限定して解釈されてはならず、所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左上端、左下端、右上端または、右下端など）が含まれると解釈されねばならない。映像復号装置１００は、所定位置から獲得される分割形態モード情報を獲得して現在符号化単位を多様な形態及びサイズの符号化単位に分割するか、分割しないことに決定することができる。

【0096】

一実施例によって映像復号装置１００は、現在符号化単位が所定の個数の符号化単位に分割された場合、そのうち、１つの符号化単位を選択することができる。複数個の符号化単位のうち、１つを選択するための方法は、様々であり、そのような方法に係わる説明は、以下の多様な実施例を通じて後述する。

【0097】

一実施例によって映像復号装置１００は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。一実施例によって映像復号装置１００は、奇数個の符号化単位のうち、中央に位置する符号化単位を決定するために奇数個の符号化単位それぞれの位置を示す情報を用いることができる。図６を参照すれば、映像復号装置１００は、現在符号化単位６００または現在符号化単位６５０を分割して奇数個の符号化単位６２０ａ、６２０ｂ、６２０ｃ、または奇数個の符号化単位６６０ａ、６６０ｂ、６６０ｃを決定することができる。映像復号装置１００は、奇数個の符号化単位６２０ａ、６２０ｂ、６２０ｃ、または奇数個の符号化単位６６０ａ、６６０ｂ、６６０ｃの位置に係わる情報を用いて中央符号化単位６２０ｂ、または中央符号化単位６６０ｂを決定することができる。例えば、映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃに含まれる所定サンプルの位置を示す情報に基づいて符号化単位６２０ａ、６２０ｂ、６２０ｃの位置を決定することで、中央に位置する符号化単位６２０ｂを決定することができる。具体的に、映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃの左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの位置を示す情報に基づいて符号化単位６２０ａ、６２０ｂ、６２０ｃの位置を決定することで、中央に位置する符号化単位６２０ｂを決定することができる。

【0098】

一実施例によって符号化単位６２０ａ、６２０ｂ、６２０ｃにそれぞれ含まれる左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの位置を示す情報は、符号化単位６２０ａ、６２０ｂ、６２０ｃのピクチャー内での位置または座標に係わる情報を含んでもよい。一実施例によって符号化単位６２０ａ、６２０ｂ、６２０ｃにそれぞれ含まれる左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ、６２０ｂ、６２０ｃの幅または、高さを示す情報を含み、そのような幅または、高さは、符号化単位６２０ａ、６２０ｂ、６２０ｃのピクチャー内における座標間の差を示す情報に該当しうる。すなわち、映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃのピクチャー内での位置または座標に係わる情報を直接用いるか、座標間の差値に対応する符号化単位の幅または、高さに係わる情報を用いることで、中央に位置する符号化単位６２０ｂを決定することができる。

【0099】

一実施例によって、上端符号化単位６２０ａの左上端のサンプル６３０ａの位置を示す情報は、（ｘａ、ｙａ）座標を示し、中央符号化単位６２０ｂの左上端のサンプル５３０ｂの位置を示す情報は、（ｘｂ、ｙｂ）座標を示し、下端符号化単位６２０ｃの左上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ、ｙｃ）座標を示すことができる。映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃにそれぞれ含まれる左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの座標を用いて中央符号化単位６２０ｂを決定することができる。例えば、左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの座標を昇順または降順に整列したとき、中央に位置するサンプル６３０ｂの座標である（ｘｂ、ｙｂ）を含む符号化単位６２０ｂを現在符号化単位６００が分割されて決定された符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、中央に位置する符号化単位と決定する。但し、左上端のサンプル６３０ａ、６３０ｂ、６３０ｃの位置を示す座標は、ピクチャー内における絶対的な位置を示す座標を示し、さらに上端符号化単位６２０ａの左上端のサンプル６３０ａの位置を基準に、中央符号化単位６２０ｂの左上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ、ｄｙｂ）座標、下端符号化単位６２０ｃの左上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ、ｄｙｃ）座標を利用してもよい。また、符号化単位に含まれるサンプルの位置を示す情報として当該サンプルの座標を用いることで、所定位置の符号化単位を決定する方法が上述した方法に限定して解釈されてはならず、サンプルの座標を用いることができる多様な算術的方法に解釈されねばならない。

【0100】

一実施例によって映像復号装置１００は、現在符号化単位６００を複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃに分割し、符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、所定の基準によって符号化単位を選択することができる。例えば、映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、異なるサイズの符号化単位６２０ｂを選択することができる。

【0101】

一実施例によって映像復号装置１００は、上端符号化単位６２０ａの左上端サンプル６３０ａ位置を示す情報である（ｘａ、ｙａ）座標、中央符号化単位６２０ｂの左上端サンプル６３０ｂの位置を示す情報である（ｘｂ、ｙｂ）座標、下端符号化単位６２０ｃの左上端サンプル６３０ｃの位置を示す情報である（ｘｃ、ｙｃ）座標を用いて符号化単位６２０ａ、６２０ｂ、６２０ｃそれぞれの幅または、高さを決定することができる。映像復号装置１００は、符号化単位６２０ａ、６２０ｂ、６２０ｃの位置を示す座標である（ｘａ、ｙａ）、（ｘｂ、ｙｂ）、（ｘｃ、ｙｃ）を用いて符号化単位６２０ａ、６２０ｂ、６２０ｃそれぞれのサイズを決定することができる。一実施例によって、映像復号装置１００は、上端符号化単位６２０ａの幅を現在符号化単位６００の幅と決定する。映像復号装置１００は、上端符号化単位６２０ａの高さをｙｂ－ｙａと決定する。一実施例によって映像復号装置１００は、中央符号化単位６２０ｂの幅を現在符号化単位６００の幅と決定する。映像復号装置１００は、中央符号化単位６２０ｂの高さをｙｃ－ｙｂと決定する。一実施例によって映像復号装置１００は、下端符号化単位の幅または、高さは、現在符号化単位の幅または、高さと上端符号化単位６２０ａ及び中央符号化単位６２０ｂの幅及び高さを用いて決定する。映像復号装置１００は、決定された符号化単位６２０ａ、６２０ｂ、６２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃのサイズと異なる大きさを有する中央符号化単位６２０ｂを所定位置の符号化単位と決定する。但し、上述した映像復号装置１００が他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定する符号化単位のサイズを用いて所定位置の符号化単位を決定する一実施例に過ぎないので、所定のサンプル座標によって決定する符号化単位のサイズを比較して、所定位置の符号化単位を決定する多様な過程が用いられる。

【0102】

映像復号装置１００は、左側符号化単位６６０ａの左上端のサンプル６７０ａの位置を示す情報である（ｘｄ、ｙｄ）座標、中央符号化単位６６０ｂの左上端のサンプル６７０ｂの位置を示す情報である（ｘｅ、ｙｅ）座標、右側符号化単位６６０ｃの左上端のサンプル６７０ｃの位置を示す情報である（ｘｆ、ｙｆ）座標を用いて符号化単位６６０ａ、６６０ｂ、６６０ｃそれぞれの幅または、高さを決定することができる。映像復号装置１００は、符号化単位６６０ａ、６６０ｂ、６６０ｃの位置を示す座標である（ｘｄ、ｙｄ）、（ｘｅ、ｙｅ）、（ｘｆ、ｙｆ）を用いて符号化単位６６０ａ、６６０ｂ、６６０ｃそれぞれのサイズを決定する。

【0103】

一実施例によって、映像復号装置１００は、左側符号化単位６６０ａの幅をｘｅ－ｘｄと決定する。映像復号装置１００は、左側符号化単位６６０ａの高さを現在符号化単位６５０の高さと決定する。一実施例によって、映像復号装置１００は、中央符号化単位６６０ｂの幅をｘｆ－ｘｅと決定する。映像復号装置１００は、中央符号化単位６６０ｂの高さを現在符号化単位６００の高さと決定する。一実施例によって映像復号装置１００は、右側符号化単位６６０ｃの幅または、高さは、現在符号化単位６５０の幅または、高さと左側符号化単位６６０ａ及び中央符号化単位６６０ｂの幅及び高さを用いて決定することができる。映像復号装置１００は、決定された符号化単位６６０ａ、６６０ｂ、６６０ｃの幅及び高さに基づいて他の符号化単位と異なる大きさを有する符号化単位を決定する。図６を参照すれば、映像復号装置１００は、左側符号化単位６６０ａ及び右側符号化単位６６０ｃのサイズと異なる大きさを有する中央符号化単位６６０ｂを所定位置の符号化単位と決定する。但し、上述した映像復号装置１００が他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定する符号化単位のサイズを用いて所定位置の符号化単位を決定する一実施例に過ぎないので、所定のサンプル座標によって決定する符号化単位のサイズを比較して、所定位置の符号化単位を決定する多様な過程が用いられる。

【0104】

但し、符号化単位の位置を決定するために考慮するサンプルの位置は、上述した左上端に限定して解釈されてはならず、符号化単位に含まれる任意のサンプルの位置に係わる情報が用いられると解釈されうる。

【0105】

一実施例によって、映像復号装置１００は、現在符号化単位の形態を考慮して、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さよりも長い非正方形であれば、映像復号装置１００は、水平方向に沿って所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、水平方向に位置を異ならせる符号化単位のうち、１つを決定して当該符号化単位に対する制限を置くことができる。現在符号化単位の高さが、幅よりも長い非正方形であれば、映像復号装置１００は、垂直方向に沿って所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、垂直方向に位置を異ならせる符号化単位のうち、１つを決定して当該符号化単位に対する制限を置くことができる。

【0106】

一実施例によって映像復号装置１００は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を用いることができる。映像復号装置１００は、現在符号化単位を分割（バイナリー分割）して偶数個の符号化単位を決定することができるし偶数個の符号化単位の位置に係わる情報を用いて所定位置の符号化単位を決定する。これに係わる具体的な過程は、図６において上述した奇数個の符号化単位のうち、所定位置（例えば、中央位置）の符号化単位を決定する過程に対応する過程であるので、省略する。

【0107】

一実施例によって、非正方形の現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程で所定位置の符号化単位に係わる所定の情報を用いることができる。例えば、映像復号装置１００は、現在符号化単位が複数個に分割された符号化単位のうち、中央に位置する符号化単位を決定するために、分割過程で中央符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち、少なくとも１つを用いることができる。

【0108】

図６を参照すれば、映像復号装置１００は、分割形態モード情報に基づいて現在符号化単位６００を複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃに分割し、複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、中央に位置する符号化単位６２０ｂを決定する。また、映像復号装置１００は、分割形態モード情報が獲得される位置を考慮して、中央に位置する符号化単位６２０ｂを決定する。すなわち、現在符号化単位６００の分割形態モード情報は、現在符号化単位６００の中央に位置するサンプル６４０で獲得され、前記分割形態モード情報に基づいて現在符号化単位６００が複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂを中央に位置する符号化単位と決定する。但し、中央に位置する符号化単位と決定するために用いられる情報が分割形態モード情報に限定して解釈されてはならず、多様な種類の情報が中央に位置する符号化単位を決定する過程で用いられる。

【0109】

一実施例によって所定位置の符号化単位を識別するための所定の情報は、決定しようとする符号化単位に含まれる所定のサンプルで獲得されうる。図６を参照すれば、映像復号装置１００は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、中央に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の中央に位置するサンプル）で獲得される分割形態モード情報を用いることができる。すなわち、映像復号装置１００は、現在符号化単位６００のブロック形態を考慮して、前記所定位置のサンプルを決定し、映像復号装置１００は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ、６２０ｂ、６２０ｃのうち、所定の情報（例えば、分割形態モード情報）が獲得されるサンプルが含まれた符号化単位６２０ｂを決定して所定の制限を置くことができる。図６を参照すれば、一実施例によって映像復号装置１００は、所定の情報が獲得されるサンプルとして現在符号化単位６００の中央に位置するサンプル６４０を決定し、映像復号装置１００は、そのようなサンプル６４０が含まれる符号化単位６２０ｂを復号過程での所定の制限を置くことができる。但し、所定の情報が獲得されるサンプルの位置は、上述した位置に限定して解釈されてはならず、制限を置くために決定しようとする符号化単位６２０ｂに含まれる任意の位置のサンプルと解釈されうる。

【0110】

一実施例によって、所定の情報が獲得されるサンプルの位置は、現在符号化単位６００の形態によって決定する。一実施例によって、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかを決定し、形態によって所定の情報が獲得されるサンプルの位置を決定する。例えば、映像復号装置１００は、現在符号化単位の幅に係わる情報及び高さに係わる情報のうち、少なくとも１つを用いて現在符号化単位の幅及び高さのうち、少なくとも１つを半分に分割する境界上に位置するサンプルを所定の情報が獲得されるサンプルと決定する。さらに他の例として、映像復号装置１００は、現在符号化単位に係わるブロック形態情報が非正方形であることを示す場合、現在符号化単位の長辺を半分に分割する境界を含むサンプルのうち、１つを所定の情報が獲得されるサンプルと決定する。

【0111】

一実施例によって映像復号装置１００は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を用いる。一実施例によって映像復号装置１００は、分割形態モード情報を符号化単位に含まれた所定位置のサンプルで獲得し、映像復号装置１００は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を用いて分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を用いて再帰的に分割されうる。符号化単位の再帰的分割過程については、図５を通じて上述したので、詳細な説明は省略する。

【0112】

一実施例によって映像復号装置１００は、現在符号化単位を分割して少なくとも１つの符号化単位を決定し、そのような少なくとも１つの符号化単位が復号される順序を所定のブロック（例えば、現在符号化単位）によって決定することができる。

【0113】

図７は、一実施例によって映像復号装置が現在符号化単位を分割して複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。

【0114】

一実施例によって映像復号装置１００は、分割形態モード情報によって第１符号化単位７００を垂直方向に分割して第２符号化単位７１０ａ、７１０ｂを決定したり、第１符号化単位７００を水平方向に分割して第２符号化単位７３０ａ、７３０ｂを決定したり、第１符号化単位７００を垂直方向及び水平方向に分割して第２符号化単位７５０ａ、７５０ｂ、７５０ｃ、７５０ｄを決定したりもする。

【0115】

図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ、７１０ｂを水平方向７１０ｃに処理されるように順序を決定する。映像復号装置１００は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ、７３０ｂの処理順序を垂直方向７３０ｃに決定することができる。映像復号装置１００は、第１符号化単位７００を垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ、７５０ｂ、７５０ｃ、７５０ｄを１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序（例えば、ラスタースキャン順序（(raster scan order)またはｚスキャン順序(z scan order)７５０ｅなど）によっても決定しうる。

【0116】

一実施例によって映像復号装置１００は、符号化単位を再帰的に分割することができる。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を分割して複数個の符号化単位７１０ａ、７１０ｂ、７３０ａ、７３０ｂ、７５０ａ、７５０ｂ、７５０ｃ、７５０ｄを決定し、決定された複数個の符号化単位７１０ａ、７１０ｂ、７３０ａ、７３０ｂ、７５０ａ、７５０ｂ、７５０ｃ、７５０ｄそれぞれを再帰的に分割する。複数個の符号化単位７１０ａ、７１０ｂ、７３０ａ、７３０ｂ、７５０ａ、７５０ｂ、７５０ｃ、７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に対応する方法にもなる。これにより、複数個の符号化単位７１０ａ、７１０ｂ、７３０ａ、７３０ｂ、７５０ａ、７５０ｂ、７５０ｃ、７５０ｄは、それぞれ独立して複数個の符号化単位に分割されうる。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割して第２符号化単位７１０ａ、７１０ｂを決定し、また第２符号化単位７１０ａ、７１０ｂそれぞれを独立して分割するか、分割しないことに決定することができる。

【0117】

一実施例によって映像復号装置１００は、左側の第２符号化単位７１０ａを水平方向に分割して第３符号化単位７２０ａ、７２０ｂに分割し、右側の第２符号化単位７１０ｂは、分割しない。

【0118】

一実施例によって符号化単位の処理順序は、符号化単位の分割過程に基づいて決定されうる。すなわち、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいて決定されうる。映像復号装置１００は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ、７２０ｂが処理される順序を右側の第２符号化単位７１０ｂと独立して決定することができる。左側の第２符号化単位７１０ａが水平方向に分割されて第３符号化単位７２０ａ、７２０ｂが決定されたので、第３符号化単位７２０ａ、７２０ｂは、垂直方向７２０ｃに処理されうる。また、左側の第２符号化単位７１０ａ及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向７１０ｃに該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ、７２０ｂが垂直方向７２０ｃに処理された後、右側符号化単位７１０ｂが処理されうる。上述した内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程を説明するためのものなので、上述した実施例に限定して解釈されてはならず、多様な形態に分割されて決定される符号化単位が所定の順序によって独立して処理可能な多様な方法として用いられると解釈されねばならない。

【0119】

図８は、一実施例によって映像復号装置が所定の順序による符号化単位の処理が不可能な場合、現在符号化単位が奇数個の符号化単位に分割されるものであることを決定する過程を図示する。

【0120】

一実施例によって映像復号装置１００は、獲得された分割形態モード情報に基づいて現在符号化単位が奇数個の符号化単位に分割されることを決定する。図８を参照すれば、正方形の第１符号化単位８００が非正方形の第２符号化単位８１０ａ、８１０ｂに分割され、第２符号化単位８１０ａ、８１０ｂはそれぞれ独立して第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅに分割されうる。一実施例によって映像復号装置１００は、第２符号化単位のうち、左側符号化単位８１０ａは、水平方向に分割して複数個の第３符号化単位８２０ａ、８２０ｂを決定し、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ、８２０ｄ、８２０ｅに分割することができる。

【0121】

一実施例によって映像復号装置１００は、第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅが所定の順序によって処理されるか否かを判断して、奇数個に分割された符号化単位の存否を決定する。図８を参照すれば、映像復号装置１００は、第１符号化単位８００を再帰的に分割して第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅを決定する。映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち、少なくとも１つに基づいて、第１符号化単位８００、第２符号化単位８１０ａ、８１０ｂまたは第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かを決定する。例えば、第２符号化単位８１０ａ、８１０ｂのうち、右側に位置する符号化単位が奇数個の第３符号化単位８２０ｃ、８２０ｄ、８２０ｅに分割される。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定の順序（例えば、ｚ－スキャン順序(z-scan order)８３０）になり、映像復号装置１００は、右側第２符号化単位８１０ｂが奇数個に分割されて決定された第３符号化単位８２０ｃ、８２０ｄ、８２０ｅが前記所定の順序によって処理される条件を満足するか否かを判断することができる。

【0122】

一実施例によって映像復号装置１００は、第１符号化単位８００に含まれる第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅが所定の順序によって処理される条件を満足するか否かを決定し、前記条件は、第３符号化単位８２０ａ、８２０ｂ、８２０ｃ、８２０ｄ、８２０ｅの境界によって第２符号化単位８１０ａ、８１０ｂの幅及び高さのうち、少なくとも１つを半分に分割するか否かに係わる。例えば、非正方形の左側第２符号化単位８１０ａの高さを半分に分割して決定する第３符号化単位８２０ａ、８２０ｂは、条件を満足する。右側第２符号化単位８１０ｂを３個の符号化単位に分割して決定する第３符号化単位８２０ｃ、８２０ｄ、８２０ｅの境界が右側第２符号化単位８１０ｂの幅または、高さを半分に分割できないので、第３符号化単位８２０ｃ、８２０ｄ、８２０ｅは、条件を満足していないと決定する。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されることに決定する。一実施例によって映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施例を通じて上述したので、詳細な説明は省略する。

【0123】

図９は、一実施例によって映像復号装置が第１符号化単位を分割して少なくとも１つの符号化単位を決定する過程を図示する。

【0124】

一実施例によって映像復号装置１００は、受信部１１０を通じて獲得した分割形態モード情報に基づいて、第１符号化単位９００を分割することができる。正方形の第１符号化単位９００は、４個の正方形を有する符号化単位に分割されか、または非正方形の複数個の符号化単位に分割される。例えば、図９を参照すれば、第１符号化単位９００は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位９００を複数個の非正方形の符号化単位に分割することができる。具体的に、分割形態モード情報が第１符号化単位９００を水平方向または垂直方向に分割して奇数個の符号化単位を決定することを示す場合、映像復号装置１００は、正方形の第１符号化単位９００を奇数個の符号化単位、例えば、垂直方向に分割されて決定された第２符号化単位９１０ａ、９１０ｂ、９１０ｃまたは水平方向に分割されて決定された第２符号化単位９２０ａ、９２０ｂ、９２０ｃに分割することができる。

【0125】

一実施例によって映像復号装置１００は、第１符号化単位９００に含まれる第２符号化単位９１０ａ、９１０ｂ、９１０ｃ、９２０ａ、９２０ｂ、９２０ｃが所定の順序によって処理される条件を満足するか否かを決定し、前記条件は、第２符号化単位９１０ａ、９１０ｂ、９１０ｃ、９２０ａ、９２０ｂ、９２０ｃの境界によって第１符号化単位９００の幅及び高さのうち、少なくとも１つを半分に分割するか否かに係わる。図９を参照すれば、正方形の第１符号化単位９００を垂直方向に分割して決定する第２符号化単位９１０ａ、９１０ｂ、９１０ｃの境界が第１符号化単位９００の幅を半分に分割できないので、第１符号化単位９００は、所定の順序によって処理される条件を満足していないと決定する。また、正方形の第１符号化単位９００を水平方向に分割して決定する第２符号化単位９２０ａ、９２０ｂ、９２０ｃの境界が第１符号化単位９００の幅を半分に分割できないので、第１符号化単位９００は、所定の順序によって処理される条件を満足していないと決定する。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて第１符号化単位９００は、奇数個の符号化単位に分割されることに決定することができる。一実施例によって映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施例を通じて上述したので、詳細な説明は省略する。

【0126】

一実施例によって、映像復号装置１００は、第１符号化単位を分割して多様な形態の符号化単位を決定することができる。

【0127】

図９を参照すれば、映像復号装置１００は、正方形の第１符号化単位９００、非正方形の第１符号化単位９３０または９５０を多様な形態の符号化単位に分割することができる。

【0128】

図１０は、一実施例によって映像復号装置が第１符号化単位が分割されて決定された非正方形の第２符号化単位が所定の条件を満足する場合、第２符号化単位の分割可能な形態が制限されることを図示する。

【0129】

一実施例によって映像復号装置１００は、受信部１１０を通じて獲得した分割形態モード情報に基づいて正方形の第１符号化単位１０００を非正方形の第２符号化単位１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂに分割すると決定する。第２符号化単位１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂは、独立して分割されうる。これにより、映像復号装置１００は、第２符号化単位１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂそれぞれに係わる分割形態モード情報に基づいて複数個の符号化単位に分割するか、分割しないと決定する。一実施例によって映像復号装置１００は、垂直方向に第１符号化単位１０００が分割されて決定された非正方形の左側第２符号化単位１０１０ａを水平方向に分割して第３符号化単位１０１２ａ、１０１２ｂを決定することができる。但し、映像復号装置１００は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に水平方向に分割されないように制限することができる。もし、右側第２符号化単位１０１０ｂが同一方向に分割されて第３符号化単位１０１４ａ、１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ、１０１２ｂ、１０１４ａ、１０１４ｂが決定されうる。しかし、これは、映像復号装置１００が分割形態モード情報に基づいて、第１符号化単位１０００を４個の正方形の第２符号化単位１０３０ａ、１０３０ｂ、１０３０ｃ、１０３０ｄに分割したものと同じ結果であり、これは、映像復号側面で非効率的でもある。

【0130】

一実施例によって映像復号装置１００は、水平方向に第１符号化単位１０００が分割されて決定された非正方形の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割して第３符号化単位１０２２ａ、１０２２ｂ、１０２４ａ、１０２４ｂを決定する。但し、映像復号装置１００は、第２符号化単位のうち、１つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、上述した理由によって他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に垂直方向に分割されないように制限することができる。

【0131】

図１１は、一実施例によって分割形態モード情報が４個の正方形の符号化単位に分割することを示すことができない場合、映像復号装置が正方形の符号化単位を分割する過程を図示する。

【0132】

一実施例によって映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位１１００を分割して第２符号化単位１１１０ａ、１１１０ｂ、１１２０ａ、１１２０ｂを決定する。分割形態モード情報には、符号化単位が分割される多様な形態に係わる情報が含まれうるが、多様な形態に係わる情報には、正方形の４個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モード情報によれば、映像復号装置１００は、正方形の第１符号化単位１１００を４個の正方形の第２符号化単位１１３０ａ、１１３０ｂ、１１３０ｃ、１１３０ｄに分割することができない。分割形態モード情報に基づいて映像復号装置１００は、非正方形の第２符号化単位１１１０ａ、１１１０ｂ、１１２０ａ、１１２０ｂを決定することができる。

【0133】

一実施例によって映像復号装置１００は、非正方形の第２符号化単位１１１０ａ、１１１０ｂ、１１２０ａ、１１２０ｂをそれぞれ独立して分割する。再帰的な方法を通じて第２符号化単位１１１０ａ、１１１０ｂ、１１２０ａ、１１２０ｂのそれぞれが所定の順序に分割され、これは、分割形態モード情報に基づいて、第１符号化単位１１００が分割される方法に対応する分割方法でもある。

【0134】

例えば、映像復号装置１００は、左側第２符号化単位１１１０ａが水平方向に分割されて正方形の第３符号化単位１１１２ａ、１１１２ｂを決定し、右側第２符号化単位１１１０ｂが水平方向に分割されて正方形の第３符号化単位１１１４ａ、１１１４ｂを決定する。また、映像復号装置１００は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂがいずれも水平方向に分割されて正方形の第３符号化単位１１１６ａ、１１１６ｂ、１１１６ｃ、１１１６ｄを決定する。そのような場合、第１符号化単位１１００が４個の正方形の第２符号化単位１１３０ａ、１１３０ｂ、１１３０ｃ、１１３０ｄに分割されたものと同じ形態に符号化単位が決定される。

【0135】

さらに他の例として、映像復号装置１００は、上端第２符号化単位１１２０ａが垂直方向に分割されて正方形の第３符号化単位１１２２ａ、１１２２ｂを決定し、下端第２符号化単位１１２０ｂが垂直方向に分割されて正方形の第３符号化単位１１２４ａ、１１２４ｂを決定する。また、映像復号装置１００は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０がいずれも垂直方向に分割されて正方形の第３符号化単位１１２６ａ、１１２６ｂ、１１２６ａ、１１２６ｂを決定してもよい。そのような場合、第１符号化単位１１００が４個の正方形の第２符号化単位１１３０ａ、１１３０ｂ、１１３０ｃ、１１３０ｄに分割されたものと同じ形態に符号化単位が決定される。

【0136】

図１２は、一実施例によって複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なることを示す図面である。

【0137】

一実施例によって映像復号装置１００は、分割形態モード情報に基づいて、第１符号化単位１２００を分割する。ブロック形態が正方形であり、分割形態モード情報が、第１符号化単位１２００が水平方向及び垂直方向のうち、少なくとも１つの方向に分割されることを示す場合、映像復号装置１００は、第１符号化単位１２００を分割して第２符号化単位（例えば、１２１０ａ、１２１０ｂ、１２２０ａ、１２２０ｂなど）を決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向のみに分割されて決定された非正方形の第２符号化単位１２１０ａ、１２１０ｂ、１２２０ａ、１２２０ｂは、それぞれに係わる分割形態モード情報に基づいて独立して分割されうる。例えば、映像復号装置１００は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ、１２１０ｂを水平方向にそれぞれ分割して第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄを決定し、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ、１２２０ｂを水平方向にそれぞれ分割して第３符号化単位１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄを決定することができる。そのような第２符号化単位１２１０ａ、１２１０ｂ、１２２０ａ、１２２０ｂの分割過程は、図１１と係わって上述したので、詳細な説明は省略する。

【0138】

一実施例によって映像復号装置１００は、所定の順序によって符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図７と係わって上述したので、詳細な説明は省略する。図１２を参照すれば、映像復号装置１００は、正方形の第１符号化単位１２００を分割して４個の正方形の第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄ、１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄを決定する。一実施例によって映像復号装置１００は、第１符号化単位１２００が分割される形態によって第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄ、１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄの処理順序を決定する。

【0139】

一実施例によって映像復号装置１００は、垂直方向に分割されて生成された第２符号化単位１２１０ａ、１２１０ｂを水平方向にそれぞれ分割して第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄを決定し、映像復号装置１００は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ、１２１６ｃを垂直方向に先に処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｂ、１２１６ｄを垂直方向に処理する順序１２１７によって第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄを処理することができる。

【0140】

一実施例によって映像復号装置１００は、水平方向に分割されて生成された第２符号化単位１２２０ａ、１２２０ｂを垂直方向にそれぞれ分割して第３符号化単位１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄを決定し、映像復号装置１００は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ、１２２６ｂを水平方向に先に処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ、１２２６ｄを水平方向に処理する順序１２２７によって第３符号化単位１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄを処理する。

【0141】

図１２を参照すれば、第２符号化単位１２１０ａ、１２１０ｂ、１２２０ａ、１２２０ｂがそれぞれ分割されて正方形の第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄ、１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１２１０ａ、１２１０ｂ及び水平方向に分割されて決定された第２符号化単位１２２０ａ、１２２０ｂは、互いに異なる形態によって分割されたものであるが、以後に決定される第３符号化単位１２１６ａ、１２１６ｂ、１２１６ｃ、１２１６ｄ、１２２６ａ、１２２６ｂ、１２２６ｃ、１２２６ｄによれば、結局、同じ形態の符号化単位に第１符号化単位１２００が分割された結果となる。これにより、映像復号装置１００は、分割形態モード情報に基づいて互いに異なっている過程を通じて再帰的に符号化単位を分割することで、結果的に同じ形態の符号化単位を決定しても、同じ形態に決定された複数個の符号化単位を互いに異なる順序で処理することができる。

【0142】

図１３は、一実施例によって符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが異なることにより、符号化単位の深度が決定される過程を示す。

【0143】

一実施例によって映像復号装置１００は、符号化単位の深度を所定の基準によって決定することができる。例えば、所定の基準は、符号化単位の長辺の長さになる。映像復号装置１００は、現在符号化単位の長辺の長さが分割される前の符号化単位の長辺の長さよりも２^ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりもｎだけ深度が増加したと決定する。以下では、深度が増加した符号化単位を下位深度の符号化単位と表現する。

【0144】

図１３を参照すれば、一実施例によって正方形であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示す）に基づいて映像復号装置１００は、正方形である第１符号化単位１３００を分割して下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定する。正方形の第１符号化単位１３００のサイズを２Ｎｘ２Ｎとすれば、第１符号化単位１３００の幅及び高さを１／２倍に分割して決定された第２符号化単位１３０２は、ＮｘＮのサイズを有する。また、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２のサイズを有する。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／４倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２倍である第２符号化単位１３０２の深度は、Ｄ＋１でもあり、第１符号化単位１３００の幅及び高さの１／４倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。

【0145】

一実施例によって非正方形を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅よりも長い非正方形であることを示す「１：ＮＳ＿ＶＥＲ´または、幅が高さよりも長い非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示す）に基づいて、映像復号装置１００は、非正方形である第１符号化単位１３１０または１３２０を分割して下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定する。

【0146】

映像復号装置１００は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち、少なくとも１つを分割して第２符号化単位（例えば、１３０２、１３１２、１３２２）を決定する。すなわち、映像復号装置１００は、第１符号化単位１３１０を水平方向に分割してＮｘＮサイズの第２符号化単位１３０２またはＮｘＮ／２サイズの第２符号化単位１３２２を決定し、水平方向及び垂直方向に分割してＮ／２ｘＮサイズの第２符号化単位１３１２を決定する。

【0147】

一実施例によって映像復号装置１００は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち、少なくとも１つを分割して第２符号化単位（例えば、１３０２、１３１２、１３２２）を決定してもよい。すなわち、映像復号装置１００は、第１符号化単位１３２０を垂直方向に分割してＮｘＮサイズの第２符号化単位１３０２または、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定し、水平方向及び垂直方向に分割してＮｘＮ／２サイズの第２符号化単位１３２２を決定する。

【0148】

一実施例によって映像復号装置１００は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち、少なくとも１つを分割して第３符号化単位（例えば、１３０４、１３１４、１３２４）を決定する。すなわち、映像復号装置１００は、第２符号化単位１３０２を垂直方向及び水平方向に分割してＮ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、Ｎ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。

【0149】

一実施例によって映像復号装置１００は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち、少なくとも１つを分割して第３符号化単位（例えば、１３０４、１３１４、１３２４）を決定してもよい。すなわち、映像復号装置１００は、第２符号化単位１３１２を水平方向に分割してＮ／２ｘＮ／２サイズの第３符号化単位１３０４またはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定するか、垂直方向及び水平方向に分割してＮ／４ｘＮ／２サイズの第３符号化単位１３１４を決定する。

【0150】

一実施例によって映像復号装置１００は、ＮｘＮ／２サイズの第２符号化単位１３２２の幅及び高さのうち、少なくとも１つを分割して第３符号化単位（例えば、１３０４、１３１４、１３２４）を決定してもよい。すなわち、映像復号装置１００は、第２符号化単位１３２２を垂直方向に分割してＮ／２ｘＮ／２サイズの第３符号化単位１３０４またはＮ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、垂直方向及び水平方向に分割してＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定する。

【0151】

一実施例によって映像復号装置１００は、正方形の符号化単位（例えば、１３００、１３０２、１３０４）を水平方向または垂直方向に分割する。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割してＮｘ２Ｎサイズの第１符号化単位１３１０を決定するか、水平方向に分割して２ＮｘＮサイズの第１符号化単位１３２０を決定する。一実施例によって深度が符号化単位の最長辺の長さに基づいて決定する場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００の深度と同一でもある。

【0152】

一実施例によって第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／４倍に該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３２２の深度は、Ｄ＋１でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／４倍である第３符号化単位１３１４または１３２４の深度は、Ｄ＋２でもある。

【0153】

図１４は、一実施例によって符号化単位の形態及び大きさによって決定される深度及び符号化単位の区分のためのインデックス(part index,以下ＰＩＤ）を図示する。

【0154】

一実施例によって映像復号装置１００は、正方形の第１符号化単位１４００を分割して多様な形態の第２符号化単位を決定する。図１４を参照すれば、映像復号装置１００は、分割形態モード情報によって第１符号化単位１４００を垂直方向及び水平方向のうち、少なくとも１つの方向に分割して第２符号化単位１４０２ａ、１４０２ｂ、１４０４ａ、１４０４ｂ、１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄを決定する。すなわち、映像復号装置１００は、第１符号化単位１４００に係わる分割形態モード情報に基づいて、第２符号化単位１４０２ａ、１４０２ｂ、１４０４ａ、１４０４ｂ、１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄを決定する。

【0155】

一実施例によって正方形の第１符号化単位１４００に係わる分割形態モード情報によって決定される第２符号化単位１４０２ａ、１４０２ｂ、１４０４ａ、１４０４ｂ、１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄは、長辺の長さに基づいて深度が決定されうる。例えば、正方形の第１符号化単位１４００の一辺の長さと非正方形の第２符号化単位１４０２ａ、１４０２ｂ、１４０４ａ、１４０４ｂの長辺の長さが同一なので、第１符号化単位１４００と非正方形の第２符号化単位１４０２ａ、１４０２ｂ、１４０４ａ、１４０４ｂの深度は、Ｄであって、同一であるとも見られる。一方、映像復号装置１００が分割形態モード情報に基づいて、第１符号化単位１４００を４個の正方形の第２符号化単位１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄに分割した場合、正方形の第２符号化単位１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄの一辺の長さは、第１符号化単位１４００の一辺の長さの１／２倍なので、第２符号化単位１４０６ａ、１４０６ｂ、１４０６ｃ、１４０６ｄの深度は、第１符号化単位１４００の深度であるＤよりも１深度下位であるＤ＋１の深度でもある。

【0156】

一実施例によって映像復号装置１００は、高さが幅よりも長い形態の第１符号化単位１４１０を分割形態モード情報によって水平方向に分割して複数個の第２符号化単位１４１２ａ、１４１２ｂ、１４１４ａ、１４１４ｂ、１４１４ｃに分割する。一実施例によって映像復号装置１００は、幅が高さよりも長い形態の第１符号化単位１４２０を分割形態モード情報によって垂直方向に分割して複数個の第２符号化単位１４２２ａ、１４２２ｂ、１４２４ａ、１４２４ｂ、１４２４ｃに分割することができる。

【0157】

一実施例によって非正方形の第１符号化単位１４１０または１４２０に係わる分割形態モード情報によって決定される第２符号化単位１４１２ａ、１４１２ｂ、１４１４ａ、１４１４ｂ、１４１４ｃ．１４２２ａ、１４２２ｂ、１４２４ａ、１４２４ｂ、１４２４ｃは、長辺の長さに基づいて深度が決定されうる。例えば、正方形の第２符号化単位１４１２ａ、１４１２ｂの一辺の長さは、高さが幅よりも長い非正方形の第１符号化単位１４１０の一辺の長さの１／２倍なので、正方形の第２符号化単位１４１２ａ、１４１２ｂの深度は、非正方形の第１符号化単位１４１０の深度Ｄよりも１深度下位の深度であるＤ＋１である。

【0158】

また、映像復号装置１００が分割形態モード情報に基づいて非正方形の第１符号化単位１４１０を奇数個の第２符号化単位１４１４ａ、１４１４ｂ、１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ、１４１４ｂ、１４１４ｃは、非正方形の第２符号化単位１４１４ａ、１４１４ｃ及び正方形の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形の第２符号化単位１４１４ａ、１４１４ｃの長辺の長さ及び正方形の第２符号化単位１４１４ｂの一辺の長さは、第１符号化単位１４１０の一辺の長さの１／２倍なので、第２符号化単位１４１４ａ、１４１４ｂ、１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤよりも１深度下位であるＤ＋１の深度でもある。映像復号装置１００は、第１符号化単位１４１０と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さよりも長い非正方形の第１符号化単位１４２０と係わる符号化単位の深度を決定することができる。

【0159】

一実施例によって映像復号装置１００は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）を決定するに当たって、奇数個に分割された符号化単位が互いに同じ大きさではない場合、符号化単位間のサイズの比率に基づいて、インデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ、１４１４ｂ、１４１４ｃのうち、中央に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ、１４１４ｃと幅は同一であるが、高さが、他の符号化単位１４１４ａ、１４１４ｃの高さの２倍でもある。すなわち、その場合、中央に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ、１４１４ｃの２つを含む。したがって、スキャン順序によって中央に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であれば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２増加した３でもある。すなわち、インデックスの値の不連続性が存在する。一実施例によって映像復号装置１００は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存否に基づいて奇数個に分割された符号化単位が互いに同じサイズではないかということを決定する。

【0160】

一実施例によって映像復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて特定分割形態に分割されたか否かを決定する。図１４を参照すれば、映像復号装置１００は、高さが幅よりも長い長方形の第１符号化単位１４１０を分割して偶数個の符号化単位１４１２ａ、１４１２ｂを決定するか、奇数個の符号化単位１４１４ａ、１４１４ｂ、１４１４ｃを決定する。映像復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を用いることができる。一実施例によってＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左上端サンプル）で獲得されうる。

【0161】

一実施例によって映像復号装置１００は、符号化単位の区分のためのインデックスを用いて分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施例によって高さが幅よりも長い長方形の第１符号化単位１４１０に係わる分割形態モード情報が３個の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位１４１０を３個の符号化単位１４１４ａ、１４１４ｂ、１４１４ｃに分割する。映像復号装置１００は、３個の符号化単位１４１４ａ、１４１４ｂ、１４１４ｃそれぞれに対するインデックスを割り当てることができる。映像復号装置１００は、奇数個に分割された符号化単位のうち、中央符号化単位を決定するために各符号化単位に対するインデックスを比較することができる。映像復号装置１００は、符号化単位のインデックスに基づいてインデックスのうち、中央値に該当するインデックスを有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち、中央位置の符号化単位として決定する。一実施例によって映像復号装置１００は、分割された符号化単位の区分のためのインデックスを決定するに当たって、符号化単位が互いに同じ大きさではない場合、符号化単位間のサイズの比率に基づいて、インデックスを決定する。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ、１４１４ｃと幅は同一であるが、高さの異なる符号化単位１４１４ａ、１４１４ｃの高さの２倍でもある。その場合、中央に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であれば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２増加した３でもある。そのように、均一にインデックスが増加していて増加幅が異なる場合、映像復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定する。一実施例によって、分割形態モード情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置１００は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、中央符号化単位）が他の符号化単位と大きさが異なる形態に現在符号化単位を分割する。その場合、映像復号装置１００は、符号化単位に対するインデックス（ＰＩＤ）を用いて異なる大きさを有する中央符号化単位を決定する。但し、上述したインデックス、決定しようとする所定位置の符号化単位のサイズまたは位置は、一実施例を説明するために特定したものなので、それに限定して解釈されてはならず、多様なインデックス、符号化単位の位置及び大きさが用いられると解釈されねばならない。

【0162】

一実施例によって映像復号装置１００は、符号化単位の再帰的な分割が開始される所定のデータ単位を用いることができる。

【0163】

図１５は、一実施例によってピクチャーに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを図示する。

【0164】

一実施例によって所定のデータ単位は、符号化単位が分割形態モード情報を用いて再帰的に分割され始めるデータ単位に定義されうる。すなわち、現在ピクチャーを分割する複数個の符号化単位が決定される過程で用いられる最上位深度の符号化単位に該当する。以下、説明の便宜上、そのような所定のデータ単位を基準データ単位と指称する。

【0165】

一実施例によって基準データ単位は、所定のサイズ及び形態を示す。一実施例によって基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一でもあり、２の乗数で表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形を示し、次いで、整数個の符号化単位に分割されうる。

【0166】

一実施例によって映像復号装置１００は、現在ピクチャーを複数個の基準データ単位に分割する。一実施例によって映像復号装置１００は、現在ピクチャーを分割する複数個の基準データ単位をそれぞれの基準データ単位に係わる分割形態モード情報を用いて分割する。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を用いた分割過程に対応しうる。

【0167】

一実施例によって映像復号装置１００は、現在ピクチャーに含まれる基準データ単位が有する最小サイズを予め決定される。これにより、映像復号装置１００は、最小サイズ以上のサイズを有する多様なサイズの基準データ単位を決定し、決定された基準データ単位を基準に分割形態モード情報を用いて少なくとも１つの符号化単位を決定する。

【0168】

図１５を参照すれば、映像復号装置１００は、正方形の基準符号化単位１５００を利用し、または非正方形の基準符号化単位１５０２を利用してもよい。一実施例によって基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス(sequence)、ピクチャー(Picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など）によっても決定される。

【0169】

一実施例によって映像復号装置１００の受信部１１０は、基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報のうち、少なくとも１つを前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を通じて上述しており、非正方形の基準符号化単位１５０２に含まれる少なくとも１つの符号化単位が決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を通じて上述したので、詳細な説明は省略する。

【0170】

一実施例によって映像復号装置１００は、所定の条件に基づいて予め決定される一部データ単位によって基準符号化単位のサイズ及び形態を決定するために、基準符号化単位のサイズ及び形態を識別するためのインデックスを用いる。すなわち、受信部１１０は、ビットストリームから前記多様なデータ単位（例えば、シーケンス、ピクチャー、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など）のうち、所定の条件（例えば、スライス以下のサイズを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位のサイズ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置１００は、インデックスを用いることで、前記所定の条件を満足するデータ単位ごとに基準データ単位のサイズ及び形態を決定することができる。基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報を相対的に小さいサイズのデータ単位ごとにビットストリームから獲得して用いる場合、ビットストリームの利用効率がよくない場合もあるので、基準符号化単位の形態に係わる情報及び基準符号化単位のサイズに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して用いることができる。その場合、基準符号化単位のサイズ及び形態を示すインデックスに対応する基準符号化単位のサイズ及び形態のうち、少なくとも１つは、予め決定されてもよい。すなわち、映像復号装置１００は、既決定の基準符号化単位のサイズ及び形態のうち、少なくとも１つをインデックスによって選択することで、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位のサイズ及び形態のうち、少なくとも１つを決定することができる。

【0171】

一実施例によって映像復号装置１００は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を用いることができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を通じて符号化単位が決定されうる。一実施例によって最大符号化単位の幅及び高さのうち、少なくとも１つは、基準符号化単位の幅及び高さのうち、少なくとも１つの整数倍に該当する。一実施例によって基準符号化単位のサイズは、最大符号化単位をクアッドツリー構造によってｎ回分割したサイズでもある。すなわち、映像復号装置１００は、最大符号化単位をクアッドツリー構造によってｎ回分割して基準符号化単位を決定し、多様な実施例によって基準符号化単位をブロック形態情報及び分割形態モード情報のうち、少なくとも１つに基づいて分割する。

【0172】

一実施例によって映像復号装置１００は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態モード情報をビットストリームから獲得して用いる。分割形態モード情報は、多様なデータ単位に係わるビットストリームに含まれうる。例えば、映像復号装置１００は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を用いることができる。さらに、映像復号装置１００は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームからブロック形態情報または分割形態モード情報に対応するシンタックスエレメントをビットストリームから獲得して用いることができる。

【0173】

以下、本発明の一実施例による分割規則を決定する方法について詳細に説明する。

【0174】

映像復号装置１００は、映像の分割規則を決定する。分割規則は、映像復号装置１００及び映像符号化装置２２００の間に予め決定されていてもよい。映像復号装置１００は、ビットストリームから獲得された情報に基づいて映像の分割規則を決定する。映像復号装置１００は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)のうち、少なくとも１つから獲得された情報に基づいて分割規則を決定する。映像復号装置１００は、分割規則をフレーム、スライス、タイル、テンポラルレイヤ(Temporal layer)、最大符号化単位または符号化単位によって異なっても決定しうる。

【0175】

映像復号装置１００は、符号化単位のブロック形態に基づいて分割規則を決定することができる。ブロック形態は、符号化単位のサイズ、形状、幅及び高さの比率、方向を含んでもよい。映像復号装置１００は、符号化単位のブロック形態に基づいて分割規則を決定することを予め決定することができる。しかし、それに限定されるものではない。映像復号装置１００は、受信されたビットストリームから獲得された情報に基づいて、分割規則を決定することができる。

【0176】

符号化単位の形状は、正方形(square)及び非正方形(non-square)を含んでもよい。符号化単位の幅及び高さの長さが同一である場合、映像復号装置１００は、符号化単位の形状を正方形に決定することができる。また、符号化単位の幅及び高さの長さが同一ではない場合、映像復号装置１００は、符号化単位の形状を非正方形に決定することができる。

【0177】

符号化単位のサイズは、４ｘ４、８ｘ４、４ｘ８、８ｘ８、１６ｘ４、１６ｘ８、．．．、２５６ｘ２５６の多様な大きさを含んでもよい。符号化単位のサイズは、符号化単位の長辺の長さ、短辺の長さまたは広さによって分類されうる。映像復号装置１００は、同じグループに分類された符号化単位に同じ分割規則を適用することができる。例えば、映像復号装置１００は、同じ長辺の長さを有する符号化単位を同じ大きさに分類することができる。また、映像復号装置１００は、同じ長辺の長さを有する符号化単位について同じ分割規則を適用することができる。

【0178】

符号化単位の幅及び高さの比率は、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、３２：１または１：３２などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。水平方向は、符号化単位の幅の長さが高さの長さよりも長い場合を示す。垂直方向は、符号化単位の幅の長さが高さの長さよりも短い場合を示す。

【0179】

映像復号装置１００は、符号化単位のサイズに基づいて分割規則を適応的に決定する。映像復号装置１００は、符号化単位のサイズに基づいて許容可能な分割形態モードを異なっても決定しうる。例えば、映像復号装置１００は、符号化単位のサイズに基づいて分割が許容されるか否かを決定する。映像復号装置１００は、符号化単位のサイズによって分割方向を決定する。映像復号装置１００は、符号化単位のサイズによって許容可能な分割タイプを決定することができる。

【0180】

符号化単位のサイズに基づいて分割規則を決定することは、映像復号装置１００の間に既決定の分割規則でもある。また、映像復号装置１００は、ビットストリームから獲得された情報に基づいて、分割規則を決定することができる。

【0181】

映像復号装置１００は、符号化単位の位置に基づいて分割規則を適応的に決定することができる。映像復号装置１００は、符号化単位が映像で占める位置に基づいて分割規則を適応的に決定することができる。

【0182】

また、映像復号装置１００は、互いに異なる分割経路で生成された符号化単位が同じブロック形態を有さないように分割規則を決定することができる。但し、それに限定されるものではなく、互いに異なる分割経路で生成された符号化単位は、同じブロック形態を有することができる。互いに異なる分割経路で生成された符号化単位は、互いに異なる復号処理順序を有することができる。復号処理順序については、図１２と共に説明したので、詳細な説明は省略する。

【0183】

図１６は、映像符号化及び復号システムを示すブロック図である。

【0184】

映像符号化及び復号システム１６００の符号化端１６１０は、映像の符号化されたビットストリームを伝送し、復号端１６５０は、ビットストリームを受信して復号することで復元映像を出力する。ここで、復号端１６５０は、映像復号装置１００に類似した構成でもある。

【0185】

符号化端１６１０において、予測符号化部１６１５は、インター予測及びイントラ予測を通じて参照映像を出力し、変換及び量子化部１６１６は、参照映像と現在入力映像間のレジデュアルデータを量子化された変換係数で量子化して出力する。エントロピー符号化部１６２５は、量子化された変換係数を符号化して変換してビットストリームに出力する。量子化された変換係数は、逆量子化及び逆変換部１６３０を経て空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング１６３５及びループフィルタリング部１６４０を経て復元映像に出力される。復元映像は、予測符号化部１６１５を経て次の入力映像の参照映像として使用される。

【0186】

復号端１６５０に受信されたビットストリームのうち、符号化された映像データは、エントロピー復号部１６５５、及び逆量子化及び逆変換部１６６０を経て空間領域のレジデュアルデータに復元される。予測復号部１６７５から出力された参照映像及びレジデュアルデータが組合わせられて空間領域の映像データが構成され、デブロッキングフィルタリング１６６５及びループフィルタリング部１６７０は、空間領域の映像データに対してフィルタリングを遂行して現在原本映像に対する復元映像を出力する。復元映像は、予測復号部１６７５によって次の原本映像に対する参照映像として用いられる。

【0187】

符号化端１６１０のループフィルタリング部１６４０は、ユーザ入力または、システム設定によって入力されたフィルター情報を用いてループフィルタリングを遂行する。ループフィルタリング部１６４０によって使用されたフィルター情報は、エントロピー符号化部１６１０に出力され、符号化された映像データと共に復号端１６５０に伝送される。復号端１６５０のループフィルタリング部１６７０は、復号端１６５０から入力されたフィルター情報に基づいてループフィルタリングを遂行することができる。

【0188】

以下、図１７ないし図２０を参照して、本明細書で開示された一実施例によってピクチャーのクロマ成分を符号化または復号するための方法及び装置が上述される。

【0189】

図１７は、一実施例によるビデオ復号装置を示すブロック図である。

【0190】

図１７を参照すれば、一実施例によるビデオ復号装置１７００は、獲得部１７１０及び復号部１７２０を含んでもよい。

【0191】

一実施例によるビデオ復号装置１７００は、獲得部１７１０及び復号部１７２０を制御する中央プロセッサ（図示せず）を含んでもよい。または、獲得部１７１０及び復号部１７２０がそれぞれの自体プロセッサ（図示せず）によって作動され、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号装置１７００が全体として作動してもよい。または、ビデオ復号装置１７００の外部プロセッサ（図示せず）の制御によって、獲得部１７１０及び復号部１７２０が制御される。

【0192】

ビデオ復号装置１７００は、獲得部１７１０及び復号部１７２０の入出力データが保存される１つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号装置１７００は、データ保存部（図示せず）のデータ入出力を制御するメモリ制御部（図示せず）を含んでもよい。

【0193】

ビデオ復号装置１７００は、映像復号を通じて映像を復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部のビデオデコーディングプロセッサと連携して作動することで、予測を含む映像復号動作を遂行する。一実施例によるビデオ復号装置１７００の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像デコーディングプロセッシングモジュールを含むことで、基本的な映像復号動作を具現してもよい。

【0194】

ビデオ復号装置１７００は、前述した映像復号装置１００に含まれる。例えば、獲得部１７１０は、図１に図示された映像復号装置１００のビットストリーム獲得部１１０に含まれ、復号部１７２０は、映像復号装置１００の復号部１２０に含まれうる。

【0195】

ビデオ復号装置１７００は、映像の符号化結果として生成されたビットストリームを獲得し、ビットストリームに含まれた情報に基づいて符号化単位の予測タイプに係わる情報を復号することができる。例えば、予測タイプに係わる情報は、イントラ予測タイプ及びインター予測タイプのうち、１つを示すことができる。符号化単位は、映像からツリー構造によって分割されて生成されるブロックに対応する。

【0196】

獲得部１７１０は、シーケンスパラメータセット(sequence parameter set)、ピクチャーパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)及びスライスセグメントヘッダ(slice segment header)のうち、少なくとも１つに含まれたブロック形態情報及び／または分割形態モードに係わる情報に基づいて現在ブロックを決定する。さらに、ブロック位置判断部１７１０は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームからブロック形態情報または分割形態モードに係わる情報に対応するシンタックスエレメントをビットストリームから獲得して現在ブロックを決定するのに用いることができる。

【0197】

一実施例による獲得部１７１０は、ビットストリームから現在ブロックのＣｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報を獲得することができる。現在ブロックは、符号化単位から生成されたブロックであって、逆量子化及び逆変換のための変換単位でもある。

【0198】

Ｃｒ成分のためのｃｂｆ情報（以下、「Ｃｒ ｃｂｆ情報」と記載する）は、現在ブロックが変換係数レベルが０ではないＣｒ成分を含むか否かを示す。例えば、Ｃｒ ｃｂｆ情報が０であれば、現在ブロックが変換係数レベルが０ではないＣｒ成分を含まないことを示し、Ｃｒ ｃｂｆ情報が１であれば、現在ブロックが変換係数レベルが０ではないＣｒ成分を含むことを示す。同様に、Ｃｂ成分のためのｃｂｆ情報（以下、「Ｃｂ ｃｂｆ情報」と記載する）は、現在ブロックが変換係数レベルが０ではないＣｂ成分を含むか否かを示す。例えば、Ｃｂ ｃｂｆ情報が０であれば、現在ブロックが変換係数レベルが０ではないＣｂ成分を含まないことを示し、Ｃｂ ｃｂｆ情報が１であれば、現在ブロックが変換係数レベルが０ではないＣｂ成分を含むことを示す。

【0199】

一般的に現在変換ブロックのためのｃｂｆ情報が１であれば、変換係数レベルをビットストリームから獲得し、復号部１７２０は、獲得された変換係数レベルを用いてルマ成分のレジデュアルサンプルを復元することができる。

【0200】

一実施例によるビデオ復号装置１７００は、Ｃｂ成分のレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルを復元するために、Ｃｂ成分の変換係数レベル及びＣｒ成分の変換係数レベルを個別的にビットストリームから獲得するか、一種類のクロマ変換係数レベルだけビットストリームから獲得することができる。

【0201】

以下、一種のクロマ変換係数レベルとしてクロマジョイントレジデュアルサンプルが用いられる実施例が詳述される。

【0202】

一実施例による獲得部１７１０は、ビットストリームから、現在ブロックのクロマジョイントレジデュアルサンプルを獲得することができる。現在ブロックのクロマジョイントレジデュアルサンプルは、現在ブロックのＣｂ成分のレジデュアルサンプル値とＣｒ成分のレジデュアルサンプル値とを用いて決定されたサンプル値でもある。したがって、Ｃｂ成分のレジデュアルサンプル値と、それに対応するＣｒ成分のレジデュアルサンプル値とを示すために、１つのクロマサンプル値だけがビットストリームから獲得されうる。もし、現在ブロックのサイズがルマ８ｘ８ブロック及びクロマブロック４ｘ４であれば、総１６個のクロマジョイントレジデュアルサンプルがビットストリームから獲得されうる。

【0203】

一実施例による復号部１７２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。復号部１７２０は、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルの加重値を用いてＣｒ成分のレジデュアルサンプルを復元することができる。同様に、復号部１７２０は、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｂ成分のレジデュアルサンプルの加重値を用いてＣｂ成分のレジデュアルサンプルを復元することができる。

【0204】

まず、一実施例による獲得部１７１０は、ビットストリームから、Ｃｂ成分のレジデュアルサンプル値と、それに対応するＣｒ成分のレジデュアルサンプル値を示すために、１つのクロマサンプル値だけ符号化されるか否かを示すクロマジョイント情報を獲得することができる。

【0205】

例えば、クロマジョイント情報が１を示せば、現在ブロックにおいて１つのクロマサンプルが符号化されることを示すと解釈されうる。その場合、獲得部１７１０がビットストリームから１つのクロマサンプル値を獲得し、復号部１７２０は、獲得された１つのクロマサンプル値を用いてＣｂ成分のレジデュアルサンプル値とそれに対応するＣｒ成分のレジデュアルサンプル値を復元することができる。その場合、復号部１７２０は、符号化単位の予測タイプ、Ｃｒ成分のためのｃｂｆ情報、及びＣｂ成分のためのｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。具体的に、一実施例による復号部１７２０は、クロマジョイント情報が、１つのクロマサンプルが符号化されることを示すとき、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0206】

一実施例によって、符号化単位の予測タイプがイントラ予測モードであるとき、復号部１７２０は、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて多数のジョイントモードのうち、１つのジョイントモードを選択し、選択されたジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0207】

一実施例によって、符号化単位の予測タイプがインター予測モードであるとき、復号部１７２０は、許容される１つのジョイントモードに含まれるＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0208】

このように予測タイプ、Ｃｒ ｃｂｆ、及びＣｂ ｃｂｆによって決定されたＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの組合わせによって、復号部１７２０は、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルの加重値を用いてＣｒ成分のレジデュアルサンプルを復元し、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｂ成分のレジデュアルサンプルの加重値を用いてＣｂ成分のレジデュアルサンプルを復元することができる。

【0209】

一実施例によってクロマジョイント情報が０を示せば、獲得部１７１０は、Ｃｂ成分の変換係数レベルとＣｒ成分の変換係数レベルを個別的にビットストリームから獲得することができる。獲得部１７１０は、Ｃｂ成分の変換ブロックのための変換係数レベルをビットストリームから獲得し、復号部１７２０は、獲得された変換係数レベルを用いてＣｂ成分のレジデュアルサンプルを復元することができる。同様に、獲得部１７１０がＣｒ成分の変換ブロックのための変換係数レベルをビットストリームから獲得し、復号部１７２０は、獲得された変換係数レベルを用いてＣｒ成分のレジデュアルサンプルを復元することができる。

【0210】

一実施例によって、符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかによって、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数が異なっても設定される。一実施例による復号部１７２０は、符号化単位の予測タイプがイントラ予測モードであるとき、Ｃｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、選択された１つのジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。一実施例による復号部１７２０は、符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0211】

一実施例による復号部１７２０は、クロマジョイント情報、Ｃｒ成分のためのｃｂｆ情報及びＣｂ成分のためのｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルを含むジョイントモードを決定し、ジョイントモードに基づいて現在ブロックのための量子化パラメータを決定することができる。

【0212】

一実施例による復号部１７２０は、現在ブロックの動きベクトルを用いて参照ピクチャー内の参照ブロックを決定し、参照ブロックに含まれた参照サンプルから現在ブロックに対応する予測サンプルを決定することができる。

【0213】

現在ブロックの予測モードがスキップモードではない場合、ビデオ復号装置１７００は、ビットストリームから獲得された現在ブロックの変換係数に対して逆量子化及び逆変換を遂行して、レジデュアルサンプルを獲得することができる。復号部１７２０は、現在ブロックの予測サンプルに現在ブロックのレジデュアルサンプルを組み合わせて現在ブロックの復元サンプルを決定することができる。

【0214】

以下、クロマ成分のレジデュアルサンプルを復号するためのビデオ復号方法を図１８を参照して後述する。

【0215】

図１８は、一実施例によるビデオ復号方法を示すフローチャートである。

【0216】

段階１８１０において、獲得部１７１０は、ビットストリームから現在ブロックを含む符号化単位の予測タイプを示す情報を獲得することができる。

【0217】

段階１８２０において、獲得部１７１０は、ビットストリームから現在ブロックのＣｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報を獲得することができる。

【0218】

段階１８３０において、復号部１７２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定する。

【0219】

一実施例による獲得部１７１０は、ビットストリームから現在ブロックでＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を獲得することができる。クロマジョイント情報が現在ブロックにおいて１つのクロマサンプルが符号化されることを示すとき、復号部１７２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0220】

例えば、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせのうち、１つが選択されうる。

【0221】

具体的に、符号化単位の予測タイプがイントラ予測モードであるとき、復号部１７２０は、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて多数のジョイントモードのうち、１つのジョイントモードを選択し、選択されたジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。一方、符号化単位の予測タイプがインター予測モードであるとき、復号部１７２０は、許容される１つのジョイントモードに対応するＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0222】

一実施例によるＣｒ成分のレジデュアルサンプルの加重値は、－１／２であり、Ｃｂ成分のレジデュアルサンプルの加重値は、１でもある。他の実施例によるＣｒ成分のレジデュアルサンプルの加重値は、－１であり、Ｃｂ成分のレジデュアルサンプルの加重値は、１でもある。さらに他の実施例によるＣｒ成分のレジデュアルサンプルの加重値は、１であり、Ｃｂ成分のレジデュアルサンプルの加重値は、－１／２でもある。

【0223】

他の例において、ジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせが異なってもいる。例えば、３種ジョイントモード別に、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の３種組合わせが{-1/2, 1}, {-1, 1}, {1, -1/2}に設定されうる。３種ジョイントモードのうち、選択された１つのモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値が決定されうる。

【0224】

段階１８４０において、獲得部１７１０は、ビットストリームから現在ブロックのクロマジョイントレジデュアルサンプルを獲得することができる。

【0225】

段階１８５０において、復号部１７２０は、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルの加重値を用いてＣｒ成分のレジデュアルサンプルを復元する。復号部１７２０は、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｂ成分のレジデュアルサンプルの加重値を用いてＣｂ成分のレジデュアルサンプルを復元する。

【0226】

具体的に、現在ブロックのクロマジョイントレジデュアルサンプルにＣｒ成分のレジデュアルサンプルの加重値を適用した加重和の結果値が、Ｃｒ成分のレジデュアルサンプルと決定されうる。同様に、現在ブロックのクロマジョイントレジデュアルサンプルにＣｂ成分のレジデュアルサンプルの加重値を適用した加重和の結果値がＣｂ成分のレジデュアルサンプルと決定されうる。

【0227】

一実施例による復号部１７２０は、現在ブロックの動きベクトルを用いて現在ブロックを復元することができる。復号部１７２０は、現在ブロックの動きベクトルを用いて参照ピクチャー内の参照ブロックを決定し、参照ブロックに含まれた参照サンプルから現在ブロックに対応する予測サンプルを決定する。復号部１７２０は、スキップモードを除いた予測モードで現在ブロックの予測サンプルと現在ブロックのレジデュアルサンプルとを加えて、現在ブロックの復元サンプルを決定する。スキップモードのようにレジデュアルサンプルがない場合、現在ブロックの予測サンプルだけで現在ブロックの復元サンプルが決定される。現在ブロックが復元されることで、現在ブロックを含む現在ピクチャーが復元されうる。

【0228】

一実施例による復号部１７２０は、クロマジョイント情報、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を用いるジョイントモードを決定し、決定されたジョイントモードに基づいて現在ブロックのための量子化パラメータを決定する。例えば、特定ジョイントモードが決定されるとき、クロマ成分のための量子化パラメータが個別的に決定されうる。復号部１７２０は、クロマ成分のための量子化パラメータを用いて、現在ブロックのクロマジョイントレジデュアルサンプルの変換係数に対して逆量子化を遂行することができる。復号部１７２０は、変換係数に逆量子化及び逆変換を遂行してクロマジョイントレジデュアルサンプルを復元し、クロマジョイントレジデュアルサンプルに対してＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を適用することで、Ｃｒ成分のレジデュアルサンプル及びＣｂ成分のレジデュアルサンプルを復元することができる。

【0229】

以下、ピクチャーをタイルに分割してタイル別に符号化を遂行するビデオ符号化装置を図１９を参照して後述する。

【0230】

図１９は、一実施例によるビデオ符号化装置を示すブロック図である。

【0231】

一実施例によるビデオ符号化装置１９００は、予測部１９１０及びレジデュアル符号化部１９２０を含んでもよい。

【0232】

ビデオ符号化装置１９００は、インター予測を遂行して決定された動き情報を符号化してビットストリームの形態にも出力する。

【0233】

一実施例によるビデオ符号化装置１９００は、ブロック位置判断部１９１０及びインター予測遂行部１９２０を制御する中央プロセッサ（図示せず）を含んでもよい。または、予測部１９１０及びレジデュアル符号化部１９２０がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１９００が全体として作動されうる。または、ビデオ符号化装置１９００の外部プロセッサ（図示せず）の制御によって、予測部１９１０及びレジデュアル符号化部１９２０が制御されうる。

【0234】

ビデオ符号化装置１９００は、予測部１９１０及びレジデュアル符号化部１９２０の入出力データが保存される１つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１９００は、データ保存部（図示せず）のデータ入出力を制御するメモリ制御部（図示せず）を含んでもよい。

【0235】

ビデオ符号化装置１９００は、映像符号化のために、内部に搭載されたビデオエンコーディングプロセッサまたは外部のビデオエンコーディングプロセッサと連携して作動することで、予測を含む映像符号化動作を遂行することができる。一実施例によるビデオ符号化装置１９００の内部ビデオエンコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が映像エンコーディングプロセッシングモジュールを含むことで、基本的な映像符号化動作を具現することができる。

【0236】

一実施例による予測部１９１０は、現在ブロックを含む符号化単位の予測タイプを決定する。

【0237】

予測部１９１０は、現在ブロックの動きベクトルが示す参照ブロックのサンプルを現在ブロックの予測サンプルと決定する。レジデュアル符号化部１９２０は、現在ブロックの原本サンプルと予測サンプルとの差であるレジデュアルサンプルを決定することができる。レジデュアル符号化部１９２０は、現在ブロックのレジデュアルサンプルに対して変換及び量子化を遂行して生成された変換係数を符号化することができる。

【0238】

但し、一実施例によるビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを、原本サンプルと予測サンプルとの差である実際レジデュアルサンプルと異なって決定して符号化することができる。レジデュアル符号化部１９２０は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値の代わりに、１つのクロマジョイントレジデュアルサンプルを符号化することができる。

【0239】

一実施例によるレジデュアル符号化部１９２０は、現在ブロックのＣｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報を決定することができる。一実施例によるレジデュアル符号化部１９２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0240】

一実施例によるレジデュアル符号化部１９２０は、現在ブロックのクロマジョイントレジデュアルサンプルを生成することができる。ビデオ符号化装置１９００は、実際Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを知っているが、符号化効率のために符号化されるクロマジョイントレジデュアルサンプルを決定することができる。ビデオ復号装置１７００において、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルの加重値を用いてＣｒ成分のレジデュアルサンプルが復元され、現在ブロックのクロマジョイントレジデュアルサンプル及びＣｂ成分のレジデュアルサンプルの加重値を用いて前記Ｃｂ成分のレジデュアルサンプルが復元されることを考慮して、レジデュアル符号化部１９２０は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値とを用いて、クロマジョイントレジデュアルサンプルを決定することができる。

【0241】

また、一実施例によるレジデュアル符号化部１９２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0242】

一実施例によるレジデュアル符号化部１９２０は、符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかによって、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせに対応するジョイントモードの個数を異なって設定することができる。

【0243】

レジデュアル符号化部１９２０は、符号化単位の予測タイプがイントラ予測モードであるとき、Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、選択されたジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0244】

また、ビデオ符号化装置１９００は、現在ブロックでＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成することができる。

【0245】

以下、ビデオ符号化装置１９００がクロマ成分のレジデュアルサンプルを含むビデオ符号化を遂行する過程を図２０を参照して後述する。

【0246】

図２０は、一実施例によるビデオ符号化方法を示すフローチャートである。

【0247】

段階２０１０において、予測部１９１０は、現在ブロックを含む符号化単位の予測タイプを決定することができる。ビデオ符号化装置１９００は、現在ブロックを含む符号化単位の予測タイプがインター予測モードであるか、またはイントラ予測モードであるかを示す予測タイプ情報を符号化することができる。

【0248】

段階２０２０において、レジデュアル符号化部１９２０は、現在ブロックのＣｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報を決定することができる。例えば、現在ブロックが変換係数レベルが０ではないＣｒ成分を含むか否かを示すために、レジデュアル符号化部１９２０は、Ｃｒ ｃｂｆ情報を符号化することができる。例えば、現在ブロックが変換係数レベルが０ではないＣｒ成分を含まなければ、レジデュアル符号化部１９２０は、Ｃｒ ｃｂｆ情報が０を示すように符号化することができる。現在ブロックが変換係数レベルが０ではないＣｒ成分を含めば、レジデュアル符号化部１９２０は、Ｃｒ ｃｂｆ情報が１を示すように符号化することができる。同様に、現在ブロックが変換係数レベルが０ではないＣｂ成分を含むか否かを示すために、レジデュアル符号化部１９２０は、Ｃｂ ｃｂｆ情報を符号化することができる。例えば、現在ブロックが変換係数レベルが０ではないＣｂ成分を含まなければ、レジデュアル符号化部１９２０は、Ｃｂ ｃｂｆ情報が０を示すように符号化することができる。現在ブロックが変換係数レベルが０ではないＣｂ成分を含めば、レジデュアル符号化部１９２０は、Ｃｂ ｃｂｆ情報が１を示すように符号化することができる。

【0249】

段階２０３０において、レジデュアル符号化部１９２０は、符号化単位の予測タイプ、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0250】

一実施例によるＣｒ成分のレジデュアルサンプルの加重値は、－１／２であり、Ｃｂ成分のレジデュアルサンプルの加重値は、１でもある。他の実施例によるＣｒ成分のレジデュアルサンプルの加重値は、－１であり、Ｃｂ成分のレジデュアルサンプルの加重値は、１でもある。さらに他の実施例によるＣｒ成分のレジデュアルサンプルの加重値は、１であり、Ｃｂ成分のレジデュアルサンプルの加重値は、－１／２でもある。

【0251】

レジデュアル符号化部１９２０は、符号化単位の予測タイプがイントラ予測モードであるとき、Ｃｒ成分のためのｃｂｆ情報及び前記Ｃｂ成分のためのｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つを選択し、選択されたジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。符号化単位の予測タイプがインター予測モードであるとき、許容される１つのジョイントモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0252】

他の例において、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせが多数提供され、多数のジョイントモード別に加重値組合のうち、１つの組合わせが選択されうる。例えば、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値の組合わせが{-1/2, 1}, {-1, 1}, {1, -1/2}のうち、１つの組合わせがジョイントモード別に選択されうる。３個のジョイントモードのうち、選択された１つのモードによってＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値が決定されうる。

【0253】

さらに具体的な例において、符号化単位の予測タイプがイントラ予測モードであるとき、レジデュアル符号化部１９２０は、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて多数のジョイントモードのうち、１つのジョイントモードを選択し、選択されたジョイントモードによるＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定する。一方、符号化単位の予測タイプがインター予測モードであるとき、レジデュアル符号化部１９２０は、許容される１つのジョイントモードによるＣｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を決定することができる。

【0254】

段階２０４０において、レジデュアル符号化部１９２０は、現在ブロックのクロマジョイントレジデュアルサンプルを生成する。一実施例において、レジデュアル符号化部１９２０は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値の代わりに、１つのクロマジョイントレジデュアルサンプルを符号化することができる。もし、現在ブロックのサイズがルマ８ｘ８ブロック及びクロマブロック４ｘ４であれば、総１６個のクロマジョイントレジデュアルサンプルがビットストリームから獲得されうる。

【0255】

ビデオ復号装置１７００において現在ブロックのクロマジョイントレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルの加重値を用いてＣｒ成分のレジデュアルサンプルが復元され、現在ブロックのクロマジョイントレジデュアルサンプル及び前記Ｃｂ成分のレジデュアルサンプルの加重値を用いて、前記Ｃｂ成分のレジデュアルサンプルが復元されることを考慮して、レジデュアル符号化部１９２０は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値を用いてクロマジョイントレジデュアルサンプルを決定する。

【0256】

ビデオ符号化装置１９００は、現在ブロックでＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すクロマジョイント情報を生成する。現在ブロックにおいてＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化される場合、段階２０３０及び２０４０が遂行されうる。

【0257】

一実施例によるレジデュアル符号化部１９２０は、クロマジョイント情報、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報に基づいて、Ｃｒ成分のレジデュアルサンプルの加重値及びＣｂ成分のレジデュアルサンプルの加重値を用いるジョイントモードを決定し、決定されたジョイントモードに基づいて現在ブロックのための量子化パラメータを決定することができる。例えば、特定ジョイントモードが決定されるとき、クロマ成分のための量子化パラメータが個別的に決定されうる。レジデュアル符号化部１９２０は、量子化パラメータを用いてクロマジョイントレジデュアルサンプルの変換係数に対して量子化を遂行することができる。量子化された変換係数が変換係数レベルというシンタックスエレメントに符号化されうる。

【0258】

以下、図２１及び図２２を参照してＣｂ成分のレジデュアルサンプルとＣｂ成分のレジデュアルサンプルを用いてクロマジョイントレジデュアルサンプルを決定し、クロマジョイントレジデュアルサンプルを用いてＣｂ成分のレジデュアルサンプルとＣｂ成分のレジデュアルサンプルとを復元する過程を説明する。

【0259】

図２１は、一実施例によるＣｂ成分、Ｃｒ成分及びクロマ符号化成分間の関係に係わるグラフを図示する。

【0260】

グラフ２１００は、ビデオ符号化装置１９００でＣｒ成分のレジデュアルサンプルの実際値２１２０とＣｂ成分のレジデュアルサンプルの実際値２１１０とクロマジョイントレジデュアルサンプル２１４０の関係を図示する。一実施例によるビデオ符号化装置１９００は、Ｃｒ成分のレジデュアルサンプルの実際値２１２０に－１を乗算した値２１３０と、Ｃｂ成分のレジデュアルサンプルの実際値２１１０との平均値をクロマジョイントレジデュアルサンプル２１４０と決定しうる。

【0261】

グラフ２２００は、ビデオ復号装置１７００でＣｒ成分のレジデュアルサンプルの実際値２１２０とＣｂ成分のレジデュアルサンプルの実際値２１１０とクロマジョイントレジデュアルサンプル２１４０との関係を示す。

【0262】

ビデオ復号装置１７００において、Ｃｂ成分のレジデュアルサンプル加重値は、１、Ｃｒ成分のレジデュアルサンプル加重値は、－１に決定しうる。

【0263】

したがって、獲得部１７１０がクロマジョイントレジデュアルサンプル２１４０を獲得すれば、復号部１７２０は、クロマジョイントレジデュアルサンプル２１４０と同じ値をＣｂ成分のレジデュアルサンプル２１６０の復元値に決定し、クロマジョイントレジデュアルサンプル２１４０に－１を乗算して生成された値をＣｒ成分のレジデュアルサンプル２１７０の復元値と決定しうる。

【0264】

図２２は、一実施例によるＣｂ成分、Ｃｒ成分及びクロマ符号化成分間の関係式を示す図面である。

【0265】

図２２に図示された関係式において、Ｃｂは、Ｃｂ成分のレジデュアルサンプルの復元値、Ｃｒは、Ｃｒ成分のレジデュアルサンプルの復元値を示す。ｊｏｉｎｔＣｂは、クロマジョイントレジデュアルサンプルを示し、ｗｅｉｇｈｔＴａｂｌｅ（ｃｏｒｒＩｄｘ）は、Ｃｒ成分のレジデュアルサンプル加重値を示す。

【0266】

最初の関係式によれば、Ｃｂ成分のレジデュアルサンプル加重値は、１であるので、クロマジョイントレジデュアルサンプルｊｏｉｎｔＣｂと同じ値がＣｂ成分のレジデュアルサンプルの復元値Ｃｂと決定されうる。

【0267】

二番目の関係式によれば、Ｃｒ成分のレジデュアルサンプル加重値は、ｗｅｉｇｈｔＴａｂｌｅ（ｃｏｒｒＩｄｘ）であるので、クロマジョイントレジデュアルサンプルｊｏｉｎｔＣｂに加重値を適用した加重和がＣｒ成分のレジデュアルサンプルの復元値Ｃｒに決定されうる。ｗｅｉｇｈｔＴａｂｌｅ（ｃｏｒｒＩｄｘ）は、多数の加重値を含むテーブルであって、多数の加重値のうち、インデックスｃｏｒｒＩｄｘによって決定された１つの加重値をＣｒ成分のレジデュアルサンプル加重値に決定されうる。その場合、Ｃｂ成分のレジデュアルサンプル加重値は、１に固定されていると見られる。

【0268】

図２１及び図２２において例示された加重値は、一実施例に過ぎず、本開示の思想で可能なジョイントモードは、これに限定されない。例えば、ｗｅｉｇｈｔＴａｂｌｅは、{ -1, 1, -2, -1/2, -4, 1/4… }でもある。その場合、Ｃｂ成分のレジデュアルサンプル加重値は、１に固定されており、Ｃｒ成分のレジデュアルサンプル加重値は、{ -1, 1, -2, -1/2, -4, 1/4… }のうち、１つに決定されうる。他の例として、Ｃｂ、Ｃｒレジデュアルサンプルのためのジョイントモードが{(1, ±1/2), (1, ±1), (±1/2, 1)}に設定されており、予測タイプ、Ｃｂ ｃｂｆ及びＣｒ ｃｂｆによってジョイントモードのうち、１つが決定されうる。

【0269】

図２３は、一実施例によるtransform unit syntaxを図示する。

【0270】

ビデオ復号装置１７００は、transform unit syntax ２３００からシンタックスエレメントｔｕ＿ｃｂｆ＿ｃｂ、ｔｕ＿ｃｂｆ＿ｃｒ及びｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇを獲得することができる。

【0271】

ｔｕ＿ｃｂｆ＿ｃｂは、Ｃｂ ｃｂｆ情報に対応するシンタックスエレメントであり、現在変換ブロックが変換係数レベルが０ではないＣｂ成分を含むか否かを示すことができる。ｔｕ＿ｃｂｆ＿ｃｒは、Ｃｒ ｃｂｆ情報に対応するシンタックスエレメントであり、現在変換ブロックが変換係数レベルが０ではないＣｒ成分を含むか否かを示すことができる。ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇは、クロマジョイント情報に対応するシンタックスエレメントであり、現在変換ブロックでＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かを示すことができる。

【0272】

ビデオ復号装置１７００がtransform unit syntax ２３００を復号する以前にシーケンスパラミットセット(sequence parameter set)からｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを獲得することができる。ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１を示す場合、現在シーケンスに含まれたブロックでＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるクロマジョイント方式が許容されることを意味する。

【0273】

したがって、ビデオ復号装置１７００は、まずｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを通じて、現在シーケンスでクロマジョイント方式が許容され（ｓｐｓ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＆＆）、現在変換ブロックを含む符号化単位の予測タイプがイントラ予測タイプであり(( CuPredMode[ chType ][ x0 ][ y0 ] = = MODE_INTRA) &&, Cr cbf情報またはＣｂ ｃｂｆ情報が１である場合（ｔｕ＿ｃｂｆ＿ｃｂ［ｘＣ］［ｙＣ］｜｜ｔｕ＿ｃｂｆ＿ｃｒ［ｘＣ］［ｙＣ］）に、ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ、すなわち、クロマジョイント情報を獲得することができる。また、現在変換ブロックを含む符号化単位の予測タイプがインター予測タイプである場合には、Ｃｒ ｃｂｆ情報及びＣｂ ｃｂｆ情報がいずれも１である場合(tu_cbf_cb[xC][yC] && tu_cbf_cr[xC][yC] )にのみ、ｔｕ＿ｊｏｉｎｔ＿ｃｂｃｒ＿ｒｅｓｉｄｕａｌ＿ｆｌａｇ、すなわち、クロマジョイント情報を獲得することができる。

【0274】

したがって、符号化単位の予測タイプがイントラ予測タイプであり、現在ブロックにＣｒ成分のレベルが１である変換係数が存在するか、Ｃｂ成分のレベルが１である変換係数が存在する場合に、クロマジョイント情報を通じてＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かが決定されうる。符号化単位の予測タイプがインター予測タイプであり、現在ブロックにＣｒ成分のレベルが１である変換係数が存在し、Ｃｂ成分のレベルが１である変換係数が存在する場合に、クロマジョイント情報を通じてＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために、１つのクロマサンプルが符号化されるか否かが決定されうる。ここで、獲得されたクロマジョイント情報が０を示せば、ビットストリームからＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルがそれぞれ獲得されねばならないということを意味する。一方、クロマジョイント情報が１を示せば、ビットストリームから１つのクロマサンプルを獲得し、これにより、Ｃｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルが復元されることを意味する。

【0275】

図２４は、一実施例によるＣｂ ｃｂｆ値、Ｃｒ ｃｂｆの組合わせにＣｂ成分、Ｃｒ成分及びクロマ符号化成分間の関係式を示す図面である。

【0276】

図２３を参照して説明したように、Ｃｂ ｃｂｆ情報ｔｕ＿ｃｂｆ＿ｃｂとＣｒ ｃｂｆ情報ｔｕ＿ｃｂｆ＿ｃｒが獲得されれば、Ｃｂ ｃｂｆ情報とＣｒ ｃｂｆ情報によってＣｂ成分のレジデュアルサンプルの復元値ｒｅｓＣｂとＣｒ成分のレジデュアルサンプルの復元値ｒｅｓＣｒを決定するための加重値が決定されうる。

【0277】

例えば、ｔｕ＿ｃｂｆ＿ｃｂが１及びｔｕ＿ｃｂｆ＿ｃｒが０であるとき、Ｃｂ成分のレジデュアルサンプルの復元値ｒｅｓＣｂは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣと同じ値に決定され、Ｃｒ成分のレジデュアルサンプルの復元値ｒｅｓＣｒは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣに±１／２を乗算した値に決定されうる。その場合、Ｃｂ成分の加重値は、１、Ｃｒ成分の加重値は、±１／２であり、ジョイントモードインデックスが１である。

【0278】

例えば、ｔｕ＿ｃｂｆ＿ｃｂが１及びｔｕ＿ｃｂｆ＿ｃｒが１であるとき、Ｃｂ成分のレジデュアルサンプルの復元値ｒｅｓＣｂは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣと同じ値に決定され、Ｃｒ成分のレジデュアルサンプルの復元値ｒｅｓＣｒは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣに±１を乗算した値に決定されうる。その場合、Ｃｂ成分の加重値は、１、Ｃｒ成分の加重値は±１であり、ジョイントモードインデックスが２である。

【0279】

例えば、ｔｕ＿ｃｂｆ＿ｃｂが０であり、ｔｕ＿ｃｂｆ＿ｃｒが１であるとき、Ｃｂ成分のレジデュアルサンプルの復元値ｒｅｓＣｂは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣに±１／２を乗算した値に決定され、Ｃｒ成分のレジデュアルサンプルの復元値ｒｅｓＣｒは、クロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔＣと同じ値に決定されうる。その場合、Ｃｂ成分の加重値は、±１／２、Ｃｒ成分の加重値は、１であり、ジョイントモードインデックスが３である。

【0280】

符号化単位の予測タイプがイントラ予測モードである場合、ジョイントモードインデックスが１、２、３がいずれも可能である。すなわち、符号化単位の予測タイプがイントラ予測モードである場合には、ジョイントモードインデックスによってＣｂ成分の加重値及びＣｒ成分の加重値がそれぞれ決定されうる。

【0281】

但し、符号化単位の予測タイプがインター予測モードである場合、ジョイントモードインデックス２のみ許容される。したがって、符号化単位の予測タイプがインター予測モードである場合には、ジョイントモードインデックスが２である場合、すなわち、ｔｕ＿ｃｂｆ＿ｃｂが１、及びｔｕ＿ｃｂｆ＿ｃｒが１であるときのみ、クロマジョイント方式が許容され、Ｃｂ成分の加重値は、１、Ｃｒ成分の加重値は±１に決定されうる。

【0282】

以上、ビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値の代わりに、１つのクロマジョイントレジデュアルサンプルを符号化し、ビデオ復号装置１７００は、ビットストリームから１つのクロマジョイントレジデュアルサンプルを獲得し、１つのクロマジョイントレジデュアルサンプルからＣｂ成分のレジデュアルサンプルの復元値とＣｒ成分のレジデュアルサンプルの復元値とを決定する方法が提案された。

【0283】

Ｃｂ成分のレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルが１つのジョイントレジデュアルサンプルに符号化されることで、個別的に符号化することに比べて、ビットレートが節約されうる。ビデオ符号化装置１９００でＣｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値を如何なる関係式によって組み合わせてクロマジョイントレジデュアルサンプルを決定するか、またはビデオ復号装置１７００でジョイントレジデュアルサンプルを用いてＣｂ成分のレジデュアルサンプル及びＣｒ成分のレジデュアルサンプルを復元するかによって、符号化効率がさらに高くなる。

【0284】

以下、前記実施例を変形して、ビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値の代わりに、クロマジョイントサンプル値を符号化し、ビデオ復号装置１７００は、ビットストリームから獲得されたクロマジョイントサンプル値を用いてＣｂ成分のレジデュアルサンプルの復元値とＣｒ成分のレジデュアルサンプルの復元値とを決定する多様な方法を提案する。

【0285】

まず、クロマジョイント情報が獲得される位置が多様に変更されうる。

【0286】

図２３による実施例では、ルマｃｂｆ情報、Ｃｂ ｃｂｆ情報とＣｒ ｃｂｆ情報がビットストリームから獲得された後、Ｃｂ ｃｂｆ情報とＣｒ ｃｂｆ情報によってクロマジョイント情報がビットストリームから獲得されうる。

【0287】

他の実施例によれば、まずルマｃｂｆ情報及びＣｂ ｃｂｆ情報が獲得された後、Ｃｂ ｃｂｆ情報が１であれば、クロマジョイント情報が獲得され、Ｃｂ ｃｂｆ情報が０であり、クロマジョイント情報が０であれば、Ｃｒ ｃｂｆ情報が獲得されうる。その場合、Ｃｂ ｃｂｆ情報は、１個のビン（ｂｉｎ）で構成された２進列に復号され、クロマジョイント情報は、２個のビンで構成された２進列、Ｃｒ ｃｂｆ情報が２／３個のビンで構成された２進列に復号されうる。

【0288】

他の実施例によれば、ジョイントクロマ情報の符号化回数を減らすために、Ｃｂ ｃｂｆ情報よりも先にジョイントクロマ情報を復号することができる。具体的に、ルマｃｂｆとクロマジョイント情報が獲得され、クロマジョイント情報が１であれば、Ｃｂ ｃｂｆ情報値を１に決定し、Ｃｒ ｃｂｆ情報値を０に決定することができる。但し、クロマジョイント情報が０であれば、Ｃｂ ｃｂｆ情報とＣｒ ｃｂｆ情報をそれぞれビットストリームから獲得することができる。その場合、クロマジョイント情報は、１個のビンで構成された２進列、Ｃｂ ｃｂｆ情報は、１／２個のビンで構成された２進列に復号され、Ｃｒ ｃｂｆ情報が１／２個のビンで構成された２進列に復号されうる。

【0289】

以下、クロマジョイント情報のコンテクストモデリング方式について説明する。

【0290】

一実施例によるクロマジョイント情報を獲得するために、ＣＡＢＡＣ復号方式に基づいてエントロピー復号を遂行することができる。その場合、クロマジョイント情報を復号するために、コンテクストインデックスが決定されうる。

【0291】

例えば、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックを含む符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて決定されうる。

【0292】

他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックのサイズに基づいて決定されうる。具体的な例として、ブロックの幅をＷ、ブロックの高さをＨとするとき、ｌｏｇ２ＷはＷにｌｏｇ２を適用した値、ｌｏｇ２ＨはＨにｌｏｇ２を適用した値でもある。コンテクストインデックスは、ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、小さい値に基づいて決定されうる。他の例として、コンテクストインデックスは、ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、大きい値に基づいて決定されうる。他の例として、コンテクストインデックスは、ｌｏｇ２Ｗ及びｌｏｇ２Ｈの平均値に基づいて決定しうる。他の例として、コンテクストインデックスは、ｌｏｇ２Ｗとｌｏｇ２Ｈとを加えた値に基づいて決定されうる。

【0293】

他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックの高さと幅の比率に基づいて決定されうる。

【0294】

他の例として、クロマジョイント情報を復号するためのコンテクストインデックスは、ブロックのインター予測方向が単方向予測タイプであるか、または双方向予測タイプであるかに基づいて決定されうる。

【0295】

他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが隣接ブロックのクロマジョイント情報に基づいて決定されうる。

【0296】

他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが隣接ブロックの符号化情報に基づいて決定されうる。具体的な例として、隣接ブロックのｃｂｆ情報に基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。他の例として、隣接ブロックの予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。他の例として、隣接ブロックの変換タイプに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。

【0297】

他の例として、現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが現在ブロックの変換タイプに基づいて決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、二次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、コンテクストインデックスが決定されうる。

【0298】

他の例として、既定の符号化モードに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいてコンテクストインデックスが決定されうる。

【0299】

他の例として、現在ブロックのＭＴＳ(multiple transform selection)インデックスに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。

【0300】

他の例として、上記で提案された多様な条件のうち、２つ以上の条件の組合わせに基づいて現在ブロックのクロマジョイント情報を復号するためのコンテクストインデックスが決定されうる。

【0301】

以下、ブロックにおいてＣｂ成分のレジデュアルサンプル及び対応するＣｒ成分のレジデュアルサンプルを示すために１つのクロマサンプルが符号化されるクロマジョイント方式が適用されうる条件に係わる多様な実施例について説明する。

【0302】

一実施例によるビデオ復号装置１７００は、符号化単位の予測タイプがイントラ予測モードまたはインター予測モードである場合、ブロックサイズに対する制限なしに、クロマジョイント方式が適用されるか否かが決定されうる。

【0303】

他の例として、ブロックのサイズに基づいてクロマジョイント方式が適用されるか否かが決定されうる。具体的な例として、ブロックの幅をＷ、ブロックの高さをＨとするとき、ｌｏｇ２Ｗは、Ｗにｌｏｇ２を適用した値、ｌｏｇ２Ｈは、Ｈにｌｏｇ２を適用した値でもある。ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、小さい値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、大きい値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、ｌｏｇ２Ｗ及びｌｏｇ２Ｈの平均値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。他の例として、ｌｏｇ２Ｗとｌｏｇ２Ｈを加えた値に基づいてクロマジョイント方式が適用されるか否かが決定されうる。

【0304】

他の例として、ブロックの形態に基づいてクロマジョイント方式が適用されるか否かが決定されうる。

【0305】

他の例として、インター予測モードのブロックである場合、予測方向が単方向予測タイプか双方向予測タイプであるかに基づいてクロマジョイント方式が適用されるか否かが決定されうる。

【0306】

他の例として、ブロックの高さと幅の比率に基づいて、クロマジョイント方式が適用されるか否かが決定されうる。

【0307】

他の例として、現在ブロックの変換タイプに基づいてクロマジョイント方式が適用されるか否かが決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、２次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。

【0308】

他の例として、Ｃｂ成分の変換係数の個数またはＣｒ成分の変換係数の個数に基づいてクロマジョイント方式が適用されるか否かが決定されうる。

【0309】

他の例として、既定の符号化モードに基づいてクロマジョイント方式が適用されるか否かが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいてクロマジョイント方式が適用されるか否かが決定されうる。

【0310】

他の例として、スライスレベルでクロマジョイント方式が適用されるか否かが決定されうる。スライスヘッダで獲得されたフラグによって現在スライスに含まれたブロックでクロマジョイント方式の適用が許容されうる。

【0311】

他の例として、テンポラルレイヤレベルでクロマジョイント方式が適用されるか否かが決定されうる。

【0312】

他の例として、現在スライスが参照可能なスライスであるか、参照不可能なスライスであるかに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。

【0313】

他の例として、現在ブロックのサブブロック別にクロマジョイント方式が適用されるか否かを示す情報が獲得されうる。したがって、変換ブロックのサブブロックごとにクロマジョイント方式が適用されるか否かが決定されうる。

【0314】

他の例として、前記条件のうち、２つ以上の条件の組合わせに基づいて、クロマジョイント方式が適用されるか否かが決定されうる。

【0315】

クロマジョイント方式が適用されるか否かを決定するための前述した多様な条件を表現するための具体的な条件文は、次の通りである。

【0316】

- If intraTU only
- If interTU only || inter_slice only
- If intraTU && size > threshold || interTU && size > threshold
- If intraTU && size < threshold || interTU && size < threshold
- If tu_width != tu_height
- If tu_width == tu_height
- If ratio(tu_width, tu_height) > threshold
- If interTU && predType==UniPred
- If !(interTU && predType==BiPred)
- If TU is not transform skip mode
- If TU is transform skip mode
- If no secondary transform is applied
- If no SBT is applied
- If SBT is applied
- If number of coeff. of Cb < threshold
- If number of coeff. of Cb > threshold
- If number of coeff. of Y < threshold
- If number of coeff. of Y > threshold
- If cbfＣｂ==0 & cbf(cr)==1 || cbfＣｂ==1 & cbf(cr)==0
以下、他の実施例によってビデオ符号化装置１９００がクロマジョイントレジデュアルサンプルを決定する方法と、ビデオ復号装置１７００がクロマジョイントレジデュアルサンプルを用いてＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元する過程を詳述する。

【0317】

他の実施例によるビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルの実際値ｒｅｓＣｂとＣｒ成分のレジデュアルサンプルの実際値ｒｅｓＣｒとを用いて、下記のようにクロマジョイントレジデュアルサンプルｒｅｓＪｏｉｎｔを決定することができる。

【0318】

resJoint=(resCb*3-resCr)/4
resJoint=(resCb-resCr*3)/4
ビデオ符号化装置１９００は、前記２つのｒｅｓＪｏｉｎｔのうち、ＲＤコストが低い値をクロマジョイントレジデュアルサンプルとして符号化することができる。

【0319】

他の実施例によるビデオ復号装置１７００は、ルマ成分のサンプルの復元値またはＣｂ成分のサンプルの復元値に基づいて、Ｃｒ成分のレジデュアルサンプルを復元する方法を決定することができる。

【0320】

他の例として、ビデオ復号装置１７００は、ルマ成分のレジデュアルサンプルの復元値またはＣｂ成分のレジデュアルサンプルの復元値に基づいて、Ｃｒ成分のレジデュアルサンプルを復元する方法を決定することができる。

【0321】

他の例として、ビデオ復号装置１７００は、ルマ成分の詳細情報またはＣｂ成分の詳細情報に基づいて、Ｃｒ成分のレジデュアルサンプルを復元する方法を決定することができる。例えば、詳細情報は、ルマ成分またはＣｂ成分のマグニチュード、平均、分散、グラジエント、高周波成分及び低周波成分のうち、少なくとも１つを含んでもよい。

【0322】

他の例として、ビデオ復号装置１７００は、現在ブロックのサブブロック別に、各サブブロックのコンテンツ特性に基づいて、Ｃｒ成分のレジデュアルサンプルを復元する方法を決定することができる。例えば、各サブブロックのコンテンツは、当該サブブロックのルマ成分またはＣｂ成分のサンプルの復元値またはルマ成分またはＣｂ成分のレジデュアルサンプルの復元値でもある。各サブブロックのコンテンツの特性は、当該サブブロックのマグニチュード、平均、分散、グラジエント、高周波成分、及び低周波成分のうち、少なくとも１つを含んでもよい。

【0323】

他の例として、ビデオ符号化装置１９００は、クロマジョイントレジデュアルサンプルとクロマジョイントレジデュアルサンプル差分を符号化することができる。クロマジョイントレジデュアルサンプル差分は、クロマジョイントレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとの差値を示す。ビデオ符号化装置１９００は、Ｃｒ成分のレジデュアルサンプルが符号化されたか否かを示すフラグを符号化することができる。その場合、ビデオ復号装置１７００は、ビットストリームから前記フラグを獲得し、前記フラグを通じてＣｒ成分のレジデュアルサンプルが符号化されていないことが決定されるならば、クロマジョイントレジデュアルサンプルｊｏｉｎｔＣｂと、クロマジョイントレジデュアルサンプル差分ｄｉｆｆ＿ｊｏｉｎｔＣｂ＿Ｃｒとをビットストリームから獲得することができる。ビデオ復号装置１７００は、Ｃｂ成分のレジデュアルサンプルの復元値Ｃｂと、Ｃｒ成分のレジデュアルサンプルの復元値Ｃｒとを次の数式によって決定することができる。(Cb = 2*jointCb+Cr, Cr = jointCb - diff_jointCb_Cr)
さらに他の例として、ビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとの平均値を符号化し、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとの差分の１／２値を符号化することができる。また、ビデオ符号化装置１９００は、Ｃｒ成分のレジデュアルサンプルが符号化されたか否かを示すフラグを符号化することができる。その場合、ビデオ復号装置１７００は、ビットストリームから前記フラグを獲得し、前記フラグを通じてＣｒ成分のレジデュアルサンプルが符号化されないことがが決定されるならば、前記平均値ａｖｅ＿ＣｂＣｒと差分の１／２値ｄｉｆｆ＿ＣｂＣｒをビットストリームから獲得することができる。ビデオ復号装置１７００は、Ｃｂ成分のレジデュアルサンプルの復元値ＣｂとＣｒ成分のレジデュアルサンプルの復元値Ｃｒを次の数式によって決定することができる(Cb = ave_CbCr+diff_CbCr, Cr = ave_CbCr-diff_CbCr)。その場合、ａｖｅ＿ＣｂＣｒ値は、Ｃｂ及びＣｒと同一でもあり、Ｃｂ成分の加重値及びＣｒ成分の加重値の組合わせが、（１、１）（１、－１）に制限されない。

【0324】

さらに他の例として、ビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルと同じ値のクロマジョイントレジデュアルサンプルが符号化されうる。また、ビデオ符号化装置１９００は、クロマジョイント加重値インデックスを符号化することができる。その場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントレジデュアルサンプルを獲得し、クロマジョイントレジデュアルサンプルと同じ値のＣｂ成分のレジデュアルサンプルを復元することができる。また、ビデオ復号装置１７００は、ビットストリームからクロマジョイント加重値インデックスを獲得し、加重値テーブルのうち、加重値インデックスが示すクロマジョイント加重値を獲得することができる。ビデオ復号装置１７００は、クロマジョイント加重値とクロマジョイントレジデュアルサンプルを乗算して生成された値をＣｒ成分のレジデュアルサンプルの復元値に決定しうる。この際、加重値テーブルは{-1, 1, -2, -1/2, -4, 1/4 ..}を含み、０から増加する各クロマジョイント加重値インデックスは、加重値テーブルのうち、各加重値を指すことができる。すなわち、ビットストリームから獲得したクロマジョイント加重値インデックスが０であれば、クロマジョイントレジデュアルサンプルに－１を乗算して生成された値をＣｒ成分のレジデュアルサンプルの復元値に決定することができる。

【0325】

さらに他の例として、ビデオ符号化装置１９００は、Ｃｒ成分のレジデュアルサンプルと同じ値のクロマジョイントレジデュアルサンプルが符号化されうる。また、ビデオ符号化装置１９００は、クロマジョイント加重値インデックスを符号化することができる。その場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントレジデュアルサンプルを獲得し、クロマジョイントレジデュアルサンプルと同じ値のＣｒ成分のレジデュアルサンプルを復元することができる。また、ビデオ復号装置１７００は、ビットストリームからクロマジョイント加重値インデックスを獲得し、加重値テーブルのうち、加重値インデックスが示すクロマジョイント加重値を獲得することができる。ビデオ復号装置１７００は、クロマジョイント加重値とクロマジョイントレジデュアルサンプルを乗算して生成された値をＣｂ成分のレジデュアルサンプルの復元値に決定することができる。この際、加重値テーブルは、{-1, 1, -2, -4 ..}を含み、０から増加する各クロマジョイント加重値インデックスは、加重値テーブルのうち、各加重値を指すことができる。すなわち、ビットストリームから獲得したクロマジョイント加重値インデックスが０であれば、クロマジョイントレジデュアルサンプルに－１を乗算して生成された値をＣｂ成分のレジデュアルサンプルの復元値に決定することができる。一般的に、Ｃｒ成分のサンプルがＣｂ成分のサンプルよりも小さいので、加重値テーブルに含まれたクロマジョイント加重値の絶対値は、１よりも大きいか、同一である。

【0326】

以上の実施例では、空間ドメインでのクロマレジデュアルサンプルを符号化及び復号する方法を説明した。以下、変換ドメインでのクロマ変換係数を符号化及び復号する方法を説明する。Ｃｂ成分の変換係数のうち、一部を用いて、Ｃｒ成分の変換係数が符号化／復号されうる。

【0327】

一実施例によるビデオ符号化装置１９００は、Ｃｂ成分の変換係数を符号化し、Ｃｒ成分の変換係数は、符号化しない。ビデオ復号装置１７００は、ビットストリームから獲得したＣｂ成分の変換係数を復号してＣｂ成分の変換係数の復元値を決定することができる。ビデオ復号装置１７００は、Ｃｂ成分の変換係数の低周波成分を用いてＣｒ成分の変換係数を復元することができる。他の例として、Ｃｂ成分の変換係数に所定加重値を乗算した値をＣｒ成分の変換係数の復元値に決定することができる。

【0328】

他の実施例によるビデオ符号化装置１９００は、Ｃｂ成分の変換係数及びＣｂ成分のレジデュアル成分を符号化し、Ｃｒ成分の変換係数、レジデュアル成分及びＣｒ ｃｂｆ情報は、符号化しない。ビデオ復号装置１７００は、ビットストリームから獲得したＣｂ成分の変換係数を復号してＣｂ成分の変換係数の復元値を決定することができる。ビデオ復号装置１７００は、Ｃｂ成分の変換係数の低周波成分を用いてＣｒ成分の変換係数を復元することができる。他の例として、Ｃｂ成分の変換係数に所定加重値を乗算した値をＣｒ成分の変換係数の復元値に決定することができる。

【0329】

以下、所定のジョイントモードのクロマジョイント方式が遂行可能であるとき、Ｃｂ成分のためのデルタ量子化パラメータを用いてクロマ成分のための量子化パラメータを決定するための多様な実施例について説明する。

【0330】

一実施例によれば、ビデオ復号装置１９００は、ｄＱＰが２であるとき、Ｃｂ成分のためのクロマジョイント量子化パラメータＱＰｃｂからｄｅｌＱＰを差し引いた値をクロマジョイント量子化パラメータＱＰｊｏｉｎｔと決定することができる。例えば、ジョイントモードインデックスが１であるとき、ビデオ復号装置１９００は、クロマジョイント量子化パラメータＱＰｊｏｉｎｔを用いてＣｂ成分の変換係数及びＣｒ成分の変換係数に逆量子化を遂行することができる。

【0331】

他の例として、クロマ成分のためのｄＱＰは、変換ブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置１９００は、変換単位ごとにクロマ成分のためのｄＱＰを獲得して、現在変換単位に含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0332】

他の例として、クロマ成分のためのｄＱＰは、予測ブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置１９００は、予測単位ごとにクロマ成分のためのｄＱＰを獲得して、現在予測単位に含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0333】

他の例として、クロマ成分のためのｄＱＰは、コーディングブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置１９００は、符号化単位ごとにクロマ成分のためのｄＱＰを獲得して、現在符号化単位に含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0334】

他の例として、クロマ成分のためのｄＱＰは、マキシマムコーディングブロックシンタックスを通じて獲得されうる。したがって、ビデオ復号装置１９００は、最大符号化単位ごとにクロマ成分のためのｄＱＰを獲得して、現在最大符号化単位に含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0335】

他の例として、クロマ成分のためのｄＱＰは、スライスヘッダシンタックスを通じて獲得されうる。したがって、ビデオ復号装置１９００は、スライスごとにクロマ成分のためのｄＱＰを獲得して、現在スライスに含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0336】

他の例として、クロマ成分のためのｄＱＰは、テンポラルレイヤごとに獲得されうる。したがって、ビデオ復号装置１９００は、現在テンポラルレイヤに含まれたＣｂ成分及びＣｒ成分のｄＱＰを決定することができる。

【0337】

例えば、前記クロマ成分のためのｄＱＰは、Ｃｂ成分のためのＱＰとルマ成分のためのＱＰとの差値でもある。他の例として、前記クロマ成分のためのＱＰは、クロマ成分のためのＱＰとデフォルトＱＰとの差値でもある。

【0338】

他の例として、ビデオ復号装置１７００は、クロマ成分のためのｄＱＰを符号化単位の予測タイプに基づいて決定しうる。例えば、符号化単位の予測タイプがイントラ予測モードである場合にクロマ成分のためのｄＱＰは、２に決定され、イントラ予測モードではない場合にクロマ成分のためのｄＱＰは、１に決定されうる。

【0339】

他の例として、ビデオ復号装置１７００は、クロマ成分のためのｄＱＰをブロックサイズに基づいて決定しうる。例えば、ブロックサイズが１６ｘ１６より大きいか、同一であれば、クロマ成分のためのｄＱＰは、１に決定され、ブロックサイズが１６ｘ１６より小さければ、クロマ成分のためのｄＱＰは、２に決定されうる。

【0340】

他の例として、ビデオ復号装置１７００は、クロマ成分のためのｄＱＰをブロックの所定符号化モードに基づいて決定しうる。具体的な例として、現在ブロックの符号化モードは、 MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、少なくともいずれか１つでもある。例えば、現在ブロックの所定符号化モードのインデックスが１である場合、クロマ成分のためのｄＱＰは、１に決定され、インデックスが１ではない場合、クロマ成分のためのｄＱＰは、２に決定されうる。

【0341】

他の例として、ビデオ復号装置１７００は、クロマ成分のためのｄＱＰを現在テンポラルレイヤの識別情報に基づいて決定しうる。例えば、現在ブロックを含むテンポラルレイヤの識別情報が２より大きければ、クロマ成分のためのｄＱＰは、０に決定され、識別情報が２よりも小さいか、同一であれば、クロマ成分のためのｄＱＰは、２に決定されうる。他の例として、現在ブロックを含むテンポラルレイヤの識別情報が０であれば、クロマ成分のためのｄＱＰは、２に決定され、識別情報が０ではなく、３より小さければ、クロマ成分のためのｄＱＰは、１に決定されうる。識別情報が３より大きいか、同一であれば、クロマ成分のためのｄＱＰは、０に決定されうる。

【0342】

他の例として、ビデオ復号装置１７００は、現在ブロックのクロマ成分のためのｄＱＰを隣接ブロックの量子化パラメータまたは量子化パラメータ差分値に基づいて決定することができる。

【0343】

以下、クロマジョイント方式で多数のジョイントモードが用いられる場合と１つのジョイントモードが用いられる場合を所定条件によって選択する方法に係わる実施例を詳述する。

【0344】

ビデオ符号化装置１９００は、クロマジョイントモードによって、クロマジョイントレジデュアルサンプルＣを符号化するか、第１クロマジョイントレジデュアルサンプルＣ１と第２クロマジョイントレジデュアルサンプルＣ２を符号化することができる。第１モード及び第３モードにおいて、クロマジョイントレジデュアルサンプルＣが決定されて符号化されうる。ビデオ符号化装置１９００は、Ｃｂ成分のレジデュアルサンプルの実際値に－１を乗算した値をＣｒ成分のレジデュアルサンプルであると仮定し、Ｃｂ成分のレジデュアルサンプルと同じ値をクロマジョイントレジデュアルサンプルＣに決定して符号化することができる。第２モードにおいて、第１クロマジョイントレジデュアルサンプルＣ１は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値との平均値になるように決定することができる（すなわち、ｃ１＝（ｃｂ＋ｃｒ）／２）。第２クロマジョイントレジデュアルサンプルＣ２は、Ｃｂ成分のレジデュアルサンプルの実際値とＣｒ成分のレジデュアルサンプルの実際値の負数値との平均値になるように決定することができる（すなわち、ｃ２＝（ｃｂ－ｃｒ）／２）。

【0345】

一例として、ビデオ復号装置１７００で２種のクロマジョイントモードが可能である。第１モードにおいてＣｂ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Ｃｒ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに－１を乗算した値に復元されうる（ｃｂ＝ｃ、ｃｒ＝－ｃ）。第２モードにおいて、Ｃｂ成分のレジデュアルサンプルは、第１クロマジョイントレジデュアルサンプルと第２クロマジョイントレジデュアルサンプルとを合わせた値に復元され、Ｃｒ成分のレジデュアルサンプルは、第１クロマジョイントレジデュアルサンプルから第２クロマジョイントレジデュアルサンプルを差し引いた値に復元されうる（ｃｂ＝ｃ１＋ｃ２、ｃｒ＝ｃ１－ｃ２）。符号化単位の予測タイプがイントラ予測モードである場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントモードインデックスを獲得し、クロマジョイント方式は、第１モードと第２モードのうち、モードインデックスが示す方式によって、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置１７００は、モードインデックスなしに第２モードによってＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを復元することができる。

【0346】

他の例として、ビデオ復号装置１７００において３種クロマジョイントモードが可能である。第１モードにおいて、Ｃｂ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Ｃｒ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに－１を乗算した値に復元されうる（ｃｂ＝ｃ、ｃｒ＝－ｃ）。第２モードにおいて、Ｃｂ成分のレジデュアルサンプルは、第１クロマジョイントレジデュアルサンプルと第２クロマジョイントレジデュアルサンプルとを合わせた値に復元され、Ｃｒ成分のレジデュアルサンプルは、第１クロマジョイントレジデュアルサンプルから第２クロマジョイントレジデュアルサンプルを差し引いた値に復元されうる（ｃｂ＝ｃ１＋ｃ２、ｃｒ＝ｃ１－ｃ２）。第３モードにおいて、Ｃｂ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルと同じ値に復元され、Ｃｒ成分のレジデュアルサンプルは、クロマジョイントレジデュアルサンプルに－１／２を乗算した値に復元されうる（ｃｂ＝ｃ、ｃｒ＝－１／２ｃ）。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向がプラナモードまたはＤＣモードである場合、ビデオ復号装置１７００は、モードインデックスを獲得せずとも、第１モードによってＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを復元することができる。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向が方向性モードである場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントモードインデックスを獲得し、第１モードと第３モードのうち、モードインデックスが示す方式によって、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置１７００は、モードインデックスを獲得せずとも、第２モードによってＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。

【0347】

以下、クロマジョイント方式で所定条件によって多数のジョイントモードが用いられる場合に係わる実施例を詳述する。

【0348】

前述した実施例において、ビデオ符号化装置１９００は、第１、２、３モードによってクロマジョイントレジデュアルサンプルＣを符号化するか、第１クロマジョイントレジデュアルサンプルＣ１と第２クロマジョイントレジデュアルサンプルＣ２を符号化することができるということは、本実施例において同様に適用される。前述した実施例のビデオ復号装置１７００において、３種のクロマジョイントモードでクロマジョイントレジデュアルサンプルＣ、第１クロマジョイントレジデュアルサンプルＣ１、及び第２クロマジョイントレジデュアルサンプルＣ２のうち、少なくとも１つを用いて、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元する方式も、本実施例において同様に適用される。

【0349】

符号化単位の予測タイプがイントラ予測モードである場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントモードインデックスを獲得し、第１モードと第２モードのうち、モードインデックスが示す方式によって、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置１７００は、ビットストリームからクロマジョイントモードインデックスを獲得し、第１モードと第３モードのうち、モードインデックスが示す方式によって、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。

【0350】

以下、クロマジョイント方式でクロマジョイントモードインデックスなしに所定条件で多数のジョイントモードが用いられる場合に係わる実施例を詳述する。

【0351】

前述した実施例において、ビデオ符号化装置１９００は、第１、２、３モードによってクロマジョイントレジデュアルサンプルＣを符号化するか、第１クロマジョイントレジデュアルサンプルＣ１と第２クロマジョイントレジデュアルサンプルＣ２を符号化することができるということは、本実施例において同様に適用される。前述した実施例において、ビデオ復号装置１７００で３種のクロマジョイントモードでクロマジョイントレジデュアルサンプルＣ、第１クロマジョイントレジデュアルサンプルＣ１及び第２クロマジョイントレジデュアルサンプルＣ２のうち、少なくとも１つを用いて、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元する方式も、本実施例において同様に適用される。ビデオ復号装置１７００は、符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向がプラナモードまたはＤＣモードである場合、モードインデックスを獲得せずとも、第１モードによってＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがイントラ予測モードであり、イントラ予測方向が方向性モードである場合、ビデオ復号装置１７００は、モードインデックスを獲得せずとも、第２モードによって、Ｃｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。符号化単位の予測タイプがインター予測モードである場合、ビデオ復号装置１７００は、モードインデックスを獲得せずとも、第３モードによってＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルとを復元することができる。

【0352】

第１クロマジョイントレジデュアルサンプルＣ１及び第２クロマジョイントレジデュアルサンプルＣ２のうち、少なくとも１つを用いてＣｂ成分のレジデュアルサンプルとＣｒ成分のレジデュアルサンプルを復元するための関係式は、前に説明した実施例に限定されず、多様な関係式が適用されうる。例えば、ｃｂ＝ｗ１＊ｃ１＋ｗ２＊ｃ２、ｃｒ＝ｗ３＊ｃ１＋ｗ４＊ｃ２のように加重値ｗ１、ｗ２、ｗ３、ｗ４を変形して多様な関係式が用いられる。

【0353】

また、前述した実施例において、クロマジョイントモードインデックスなしに多数のジョイントモードのうち、１つのモードのみ選択するための条件について、以下多様な実施例を後述する。

【0354】

例えば、ブロックを含む符号化単位の予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0355】

他の例として、ブロックのサイズに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。具体的な例として、ブロックの幅をＷ、ブロックの高さをＨとするとき、ｌｏｇ２Ｗは、Ｗにｌｏｇ２を適用した値、ｌｏｇ２Ｈは、Ｈにｌｏｇ２を適用した値でもある。ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、小さい値に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。他の例として、ｌｏｇ２Ｗ及びｌｏｇ２Ｈのうち、大きい値に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。他の例として、ｌｏｇ２Ｗ及びｌｏｇ２Ｈの平均値に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。他の例として、ｌｏｇ２Ｗとｌｏｇ２Ｈを加えた値に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0356】

他の例として、ブロックの高さと幅の比率に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0357】

他の例として、ブロックのインター予測方向が単方向予測タイプであるか、または双方向予測タイプであるかに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0358】

他の例として、隣接ブロックのクロマジョイント情報に基づいて、現在ブロックのための多数のジョイントモードのうち、１つのモードが決定されうる。

【0359】

他の例として、隣接ブロックの符号化情報に基づいて、現在ブロックのための多数のジョイントモードのうち、１つのモードが決定されうる。具体的な例として、隣接ブロックのｃｂｆ情報に基づいて多数のジョイントモードのうち、現在ブロックのための１つのモードが決定されうる。他の例として、隣接ブロックの予測タイプが、イントラ予測モードであるか、あるいはインター予測モードであるかに基づいて、多数のジョイントモードのうち、現在ブロックのための１つのモードが決定されうる。他の例として、隣接ブロックの変換タイプに基づいて、多数のジョイントモードのうち、現在ブロックのための１つのモードが決定されうる。他の例として、現在ブロックの変換タイプに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。例えば、現在ブロックの変換タイプが変換スキップタイプであるか、サブブロック変換タイプであるか、二次変換タイプであるか、またはブロック形態による変換タイプであるかに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0360】

他の例として、既定の符号化モードに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。具体的な例として、現在ブロックの符号化モードが MHintraモード、TriangleIntraモード、Affineモード、IBC (Intra BC)モード、SMVD(Symmetric motion vector difference)モード、MMVD (Merge with motion vector difference)モード、DMVR(Decoder-side Motion Vector Refinement)モード、CCLM(Cross-component Linear Model )モード、PDPC(Position dependent (intra) prediction combination)モード、MultiRefIntra (Multi Reference Line intra prediction)モード、intraSubPartitionモード、inloop reshaperモード、OBMC (Overlapped Block Motion Compensation)モード、transformSkipモード、SBT (Sub-block transform )モードのうち、いずれのモードが使用されるか否かに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0361】

他の例として、現在ブロックのＭＴＳ(multiple transform selection)インデックスに基づいて、多数のジョイントモードのうち、現在ブロックのための１つのモードが決定されうる。

【0362】

他の例として、スライスごとに多数のジョイントモードのうち、現在スライスに含まれたブロックで使用される１つのモードが決定されうる。

【0363】

他の例として、テンポラルレイヤレベルで多数のジョイントモードのうち、現在テンポラルレイヤに含まれたブロックで使用される１つのモードが決定されうる。

【0364】

他の例として、現在スライスが参照可能なスライスであるか、参照不可能なスライスであるかに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0365】

他の例として、Ｃｂ成分の変換係数の個数またはＣｒ成分の変換係数の個数に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0366】

他の例として、インター予測モードのブロックである場合、予測方向が単方向予測タイプが双方向予測タイプであるかに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0367】

他の例として、現在ブロックのＣｂ ｃｂｆ情報とＣｒ ｃｂｆ情報に基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0368】

他の例として、前記提案された多様な条件のうち、２つ以上の条件の組合わせに基づいて、多数のジョイントモードのうち、１つのモードが決定されうる。

【0369】

一方、上述した本開示の実施例は、コンピュータで実行可能なプログラムで作成可能であり、作成されたプログラムは、媒体に保存されうる。

【0370】

媒体は、コンピュータで実行可能なプログラムを保存し続けるか、実行またはダウンロードのために臨時保存することでもある。また、媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものでもある。媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気光媒体(magneto-optical medium)、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアやその他の多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体ないし保存媒体も挙げられる。

【0371】

以上、本開示の技術的思想を望ましい実施例を挙げて詳細に説明したが、本開示の技術的思想は、前記実施例に限定されず、本開示の技術的思想の範囲内で当分野で通常の知識を有する者によって様々な変形及び変更が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】