特許 5969081 復号化方法及び復号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5969081

(24)【登録日】2016年7月15日

(45)【発行日】2016年8月10日

(54)【発明の名称】復号化方法及び復号化装置

(51)【国際特許分類】

   H04N 19/119 20140101AFI20160728BHJP

   H04N 19/122 20140101ALI20160728BHJP

   H04N 19/157 20140101ALI20160728BHJP

   H04N 19/176 20140101ALI20160728BHJP

【ＦＩ】

   H04N19/119

   H04N19/122

   H04N19/157

   H04N19/176

【請求項の数】4

【全頁数】46

(21)【出願番号】特願2015-87007(P2015-87007)

(22)【出願日】2015年4月21日

(62)【分割の表示】特願2012-548888(P2012-548888)の分割

【原出願日】2011年1月13日

(65)【公開番号】特開2015-133760(P2015-133760A)

(43)【公開日】2015年7月23日

【審査請求日】2015年4月21日

(31)【優先権主張番号】10-2010-0003557

(32)【優先日】2010年1月14日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チョン，ミン−ス

(72)【発明者】

【氏名】ミン，ジョン−ヘ

(72)【発明者】

【氏名】ジョン，ヘ−ギョン

(72)【発明者】

【氏名】キム，イル−グ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００８−１７２５９９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０３９７３３（ＷＯ，Ａ２）

【文献】 国際公開第２０１０／００２２１４（ＷＯ，Ａ２）

【文献】 国際公開第２００９／１５１２３２（ＷＯ，Ａ２）

【文献】 国際公開第２００９／００１８６４（ＷＯ，Ａ１）

【文献】 Jaeil Kim et al.，Enlarging MB size for high fidelity video coding beyond HD，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，36th Meeting: San Diego, USA，２００８年１０月，VCEG-AJ21，pp.1-6

【文献】 P. Chen, Y. Ye and M. Karczewicz，Video Coding Using Extended Block Sizes，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，36th Meeting: San Diego, USA，２００８年１０月，VCEG-AJ23_r1，pp.1-3

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

ビットストリームから獲得した分割情報を利用して１つ以上の符号化単位を決定する段階と、
前記１つ以上の符号化単位のうち現在符号化単位が少なくとも１つの０ではない変換係数を含むか否かを示す符号化単位パターン情報を獲得する段階と、
前記符号化単位パターン情報が前記現在符号化単位が少なくとも１つの０ではない変換係数を含むことを示す時、前記現在符号化単位に含まれた変換深度０の変換単位が少なくとも１つの０ではない変換係数を含むか否かを示す変換深度０の変換単位パターン情報及び前記変換深度０の変換単位が変換深度１の変換単位で分割されるか否かを示す変換インデックス情報を前記ビットストリームから獲得する段階と、
前記変換インデックス情報が前記変換深度０の変換単位が前記変換深度１の変換単位で分割されることを示すと、前記変換深度０の変換単位を変換深度１の変換単位で分割し、変換深度１の変換単位のうち、いずれか１つの変換深度１の変換単位についての変換深度１のパターン情報を獲得する段階とを含み、
前記変換深度１のパターン情報は前記変換深度１の変換単位が少なくとも１つの０でない変換係数を含むか否かを示し、
前記変換深度１の変換単位は、前記変換深度０の変換単位はよりレベルの低い４つの変換単位であることを特徴とする復号化方法。

【請求項2】

前記変換深度１の変換単位は前記現在符号化単位の高さ及び幅を分割して決定されることを特徴とする請求項１に記載の復号化方法。

【請求項3】

前記符号化単位は符号化されたビデオのピクチャが符号化されたデータ単位であり、変換単位は前記現在符号化単位のデータが変換されたデータ単位であることを特徴とする請求項１に記載の復号化方法。

【請求項4】

現在符号化単位が少なくとも１つの０ではない変換係数を含むか否かを示す符号化単位パターン情報をビットストリームから獲得し、前記符号化単位パターン情報が前記現在符号化単位が少なくとも１つの０ではない変換係数を含むことを示す時、前記現在符号化単位に含まれた変換深度０の変換単位が少なくとも１つの０ではない変換係数を含むか否かを示す変換深度０の変換単位パターン情報及び前記変換深度０の変換単位が変換深度１の変換単位で分割されるか否かを示す変換インデックス情報を前記ビットストリームから獲得する抽出部と、
前記変換インデックス情報が前記変換深度０の変換単位が前記変換深度１の変換単位で分割されることを示すと、前記変換深度０の変換単位を変換深度１の変換単位で分割する復号化部とを備え、
前記抽出部は変換深度１の変換単位のうち、いずれか１つの変換深度１の変換単位についての変換深度１のパターン情報を獲得し、
前記変換深度１のパターン情報は前記変換深度１の変換単位が少なくとも１つの０でない変換係数を含むか否かを示し、
前記変換深度１の変換単位は、前記変換深度０の変換単位はよりレベルの低い４つの変換単位であることを特徴とする復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオの符号化及び復号化に関する。

【背景技術】

【0002】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

【0003】

ビデオコーデックで、ブロックの変換係数が伝送されたか否かを示すために、符号化ブロックパターンが利用される。ブロックのテクスチャは、ブロックが０ではない変換係数を含むか否かということと関連が深い。従って、符号化ブロックパターンは、ブロックのテクスチャに関する特性を示す。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、階層的構造の符号化単位及びデータ単位を考慮して設定されて読み取られるパターン情報を利用するビデオ符号化及び復号化を提供するものである。

【課題を解決するための手段】

【0005】

本発明の一実施形態による階層的データ単位のパターン情報を利用するビデオ符号化方法は、ピクチャを符号化するためのデータ単位として、最大サイズの最大符号化単位より小さい符号化単位を含む少なくとも１つの最大符号化単位に、前記ピクチャを分割する段階と、前記符号化単位に対して、前記最大符号化単位が、前記符号化単位に分割される回数を示す前記符号化単位の深度によって、少なくとも１つの深度別符号化単位ごとに、変換単位に基づいた変換及び符号化を行い、前記変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードを決定し、前記決定された符号化深度の符号化単位を含むツリー構造による符号化単位を決定する段階と、前記最大符号化単位ごとに、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいてテクスチャ関連情報の符号化いかんを示すパターン情報、前記符号化モードについての情報及び符号化されたビデオデータを出力する段階と、を含む。前記決定された符号化深度及び前記決定された符号化モードの符号化単位で、前記ピクチャの最小符号化誤差が生じる。

【発明の効果】

【0006】

本発明の一実施形態によるツリー構造による符号化単位は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式で符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定可能である。

【0007】

階層的構造のパターン情報が決定されて利用され、符号化単位パターン情報の稠密度に基づいてパターン情報が適用されるデータ単位のレベルが選択的に決定されることによって、ビットストリームの伝送効率が向上しうる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。

【図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。

【図3】本発明の一実施形態による符号化単位の概念を図示する図面である。

【図4】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

【図5】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

【図6】本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。

【図7】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。

【図8】本発明の一実施形態による、深度別符号化情報を図示する図面である。

【図9】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図10】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図11】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図12】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図13】本発明の一実施形態による符号化単位別符号化情報を図示する図面である。

【図14】本発明の一実施形態によるビデオ符号化方法のフローチャートである。

【図15】本発明の一実施形態によるビデオ復号化方法のフローチャートである。

【図16】本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ符号化装置を図示する図面である。

【図17】本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ復号化装置を図示する図面である。

【図18】本発明の一実施形態による、最大符号化単位及び符号化深度の符号化単位の階層的構造を図示する図面である。

【図19】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図20A】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図20B】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図21A】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図21B】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図21C】本発明の実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【図22】本発明の実施形態による階層的データ単位パターン情報と単一レベルパターン情報との符号化過程のフローチャートを比較した図面である。

【図23】本発明の実施形態による階層的データ単位パターン情報と単一レベルパターン情報との符号化過程のフローチャートを比較した図面である。

【図24】一実施形態による反転パターン情報の概念を図示する図面である。

【図25】多様な実施形態による稠密パターン情報の符号化過程のフローチャートである。

【図26】一実施形態による変換インデックスとパターン情報との復号化過程のフローチャートである。

【図27】本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ符号化方法のフローチャートである。

【図28】本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ復号化方法のフローチャートである。

【発明を実施するための形態】

【0009】

本発明の一実施形態による階層的データ単位のパターン情報を利用するビデオ符号化方法は、ピクチャを符号化するためのデータ単位として、最大サイズの最大符号化単位より小さい符号化単位を含む少なくとも１つの最大符号化単位に、前記ピクチャを分割する段階と、前記符号化単位に対して、前記最大符号化単位が、前記符号化単位に分割される回数を示す前記符号化単位の深度によって、少なくとも１つの深度別符号化単位ごとに、変換単位に基づいた変換及び符号化を行い、前記変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードを決定し、前記決定された符号化深度の符号化単位を含むツリー構造による符号化単位を決定する段階と、前記最大符号化単位ごとに、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいてテクスチャ関連情報の符号化いかんを示すパターン情報、前記符号化モードについての情報及び符号化されたビデオデータを出力する段階と、を含む。前記決定された符号化深度及び前記決定された符号化モードの符号化単位で、前記ピクチャの最小符号化誤差が生じる。

【0010】

一実施形態による前記パターン情報は、現在最大符号化単位の前記符号化深度の符号化単位から少なくとも１つの変換単位まで階層的に、下位変換深度の変換単位に係わるテクスチャ関連情報及び符号化単位パターン情報の符号化いかんを示す階層的符号化単位パターン情報を含んでもよい。

【0011】

一実施形態による前記パターン情報は、前記最大符号化単位のテクスチャ関連情報の符号化いかんを示す最大符号化単位パターン情報をさらに含んでもよい。

【0012】

一実施形態によって、前記最大符号化単位パターン情報が、前記最大符号化単位のテクスチャ関連情報を符号化するように設定される場合、前記最大符号化単位の符号化深度の符号化単位に係わる階層的符号化単位パターン情報が設定される。

【0013】

一実施形態による前記階層的符号化単位パターン情報は、前記現在最大符号化単位の前記少なくとも１つの符号化深度の符号化単位において、それぞれの符号化単位ごとに、少なくとも１つの変換深度の変換単位に達するまで設定される。

【0014】

本発明の一実施形態によって階層的データ単位のパターン情報を利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージングする段階と、前記パージングされたビットストリームから、最大符号化単位別に、少なくとも１つの符号化深度の符号化単位に係わる符号化モードについての情報、及び前記最大符号化単位別に、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報を抽出し、前記符号化モードについての情報及びパターン情報に基づいて、前記パージングされたビットストリームから、前記最大符号化単位別に符号化されたビデオデータを抽出する段階と、前記符号化モードについての情報に基づいて、前記少なくとも１つの符号化深度の符号化単位別に符号化されたビデオデータを復号化する段階と、を含む。前記ピクチャは、前記少なくとも１つの最大符号化単位から、前記深度別符号化単位に階層的に分割され、前記符号化単位は、前記符号化深度によって独立して分割される。

【0015】

一実施形態による前記抽出段階は、前記階層的符号化単位パターン情報に基づいて、現在最大符号化単位の前記符号化深度の符号化単位から少なくとも１つの変換単位まで階層的に、下位変換深度の変換単位に係わるテクスチャ関連情報及び符号化単位パターン情報の抽出いかんを決定する段階を含んでもよい。

【0016】

一実施形態による前記抽出段階は、前記最大符号化単位パターン情報に基づいて、前記最大符号化単位のテクスチャ関連情報の抽出いかんを決定する段階をさらに含んでもよい。

【0017】

一実施形態による前記抽出段階は、前記最大符号化単位パターン情報に基づいて、前記最大符号化単位の符号化深度の符号化単位の階層的符号化単位パターン情報の抽出いかんを決定する段階をさらに含んでもよい。

【0018】

本発明の一実施形態によって、階層的データ単位のパターン情報を利用するビデオ符号化装置は、ピクチャを符号化するためのデータ単位として、最大サイズの最大符号化単位より小さい符号化単位を含む少なくとも１つの最大符号化単位に、前記ピクチャを分割する最大符号化単位分割部と、前記符号化単位に対して、前記最大符号化単位が、前記符号化単位に分割される回数を示す前記符号化単位の深度によって、少なくとも１つの深度別符号化単位ごとに、変換単位に基づいた変換及び符号化を行い、前記変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードを決定し、前記決定された符号化深度の符号化単位を含むツリー構造による符号化単位を決定する符号化単位及び符号化モード決定部と、前記最大符号化単位ごとに、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報、前記符号化モードについての情報及び符号化されたビデオデータを出力する出力部と、を含み、前記決定された符号化深度及び前記決定された符号化モードの符号化単位で、前記ピクチャの最小符号化誤差が生じる。

【0019】

本発明の一実施形態による階層的データ単位のパターン情報を利用するビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記パージングされたビットストリームから、最大符号化単位別に、少なくとも１つの符号化深度の符号化単位に係わる符号化モードについての情報、及び前記最大符号化単位別に、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報を抽出し、前記符号化モードについての情報及びパターン情報に基づいて、前記パージングされたビットストリームから、前記最大符号化単位別に符号化されたビデオデータを抽出するデータ抽出部と、前記符号化モードについての情報に基づいて、前記少なくとも１つの符号化深度の符号化単位別に符号化されたビデオデータを復号化する復号化部と、を含み、前記ピクチャは、前記少なくとも１つの最大符号化単位から、前記深度別符号化単位に階層的に分割され、前記符号化単位は、前記符号化深度によって独立して分割される。

【0020】

本発明は、一実施形態によって、階層的データ単位のパターン情報を利用するビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。また、本発明は、一実施形態によって、階層的データ単位のパターン情報を利用するビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

【0021】

以下、図１ないし図２８を参照しつつ、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。図１ないし図１５を参照し、本発明の一実施形態によって、空間的に階層的なデータ単位に基づいたビデオの符号化及びビデオの復号化について説明し、図１６ないし図２８を参照し、本発明の一実施形態によって、階層的データ単位のパターン情報を利用するビデオの符号化及びビデオの復号化について説明する。

【0022】

一実施形態で、「単位」は、文脈上サイズの単位でもあり、そうではないこともある。以下、「符号化単位」は、実施形態によって、符号化端で、映像データを符号化するための符号化するデータ単位であり、復号化端で、符号化された映像データを復号化するための符号化されたデータ単位である。また、「符号化深度」は、符号化単位が符号化された深度を示す。

【0023】

以下、「映像」は、ビデオの静止映像または動映像、すなわち、ビデオそれ自体を意味することができる。

【0024】

以下、図１ないし図１５を参照しつつ、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。

【0025】

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。

【0026】

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きいならば、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割されてもよい。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の二乗である正方形のデータ単位であってもよい。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力されてもよい。

【0027】

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割した回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含むことができる。

【0028】

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類されてもよい。

【0029】

最大符号化単位の高さ及び幅を、階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。

【0030】

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最も小さい符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

【0031】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0032】

最大符号化単位のサイズは、深度が深くなることにより、符号化単位が階層的に分割され、分割されて符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されもする。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって、区画される。

【0033】

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されもする。

【0034】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定されてもよい。

【0035】

最大符号化単位の予測符号化及び変換が遂行される。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。

【0036】

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が遂行されねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

【0037】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、あらゆる段階にわたって、同じデータ単位が使われ、段階別にデータ単位が変更されもする。

【0038】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

【0039】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が遂行される。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

【0040】

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

【0041】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が遂行され、符号化誤差が最も小さい予測モードが選択されもする。

【0042】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を遂行することができる。

【0043】

符号化単位の変換のためには、符号化単位より小さいか、あるいは同じであるサイズのデータ単位を基に、変換が行われる。例えば、変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含んでもよい。

【0044】

以下、変換の基盤になるデータ単位は、「変換単位」とする。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位が、現在符号化単位とサイズが同じであるサイズ２Ｎｘ２Ｎの変換単位であるならば、変換深度０に設定され、現在符号化単位の高さ及び幅がそれぞれ半分になり、総４＾１個に分割されたサイズＮｘＮの変換単位であるならば、変換深度１に、現在符号化単位の高さ及び幅がそれぞれ四分され、総４＾２個に分割されたサイズＮ／２ｘＮ／２の変換単位であるならば、変換深度２に設定される。すなわち、変換深度の階層的性格によって、上位変換深度の変換単位が、４個の下位変換深度の変換単位に分割される階層的ツリー構造による変換単位が設定される。

【0045】

また、符号化単位と類似した方式で、符号化単位内の変換単位も再帰的に、さらに小さいサイズの変換単位に分割されつつ、領域別に独立して決定されもする。従って、一実施形態による符号化単位内で、符号化単位の残差データは、変換深度によって、ツリー構造による変換単位によって区画されもする。

【0046】

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。

【0047】

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照して詳細に後述する。

【0048】

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュの乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

【0049】

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態で出力する。

【0050】

符号化された映像データは、映像の残差データの符号化結果であってもよい。

【0051】

深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

【0052】

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0053】

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同じ深度の符号化単位ごとに再帰的（recursive）符号化が行われる。

【0054】

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されもする。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることが可能であるので、データについて、符号化深度及び符号化モードについての情報が設定される。

【0055】

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードについての符号化情報を割り当てることができる。

【0056】

一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割されたサイズの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位であってもよい。

【0057】

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類されてもよい。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入される。

【0058】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度の符号化単位のサイズは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含むことができる。

【0059】

従って、一実施形態によるビデオ復号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式で符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定されもする。

【0060】

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0061】

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。

【0062】

一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報などの各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

【0063】

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

【0064】

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化する。

【0065】

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定することができ、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

【0066】

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を遂行し、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元することができる。

【0067】

一実施形態による符号化深度及び符号化モードについての符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられていので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同じ符号化深度及び符号化モードについての情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位であると類推することができる。

【0068】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位内でそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

【0069】

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を遂行することができる。

【0070】

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、逆変換を遂行することができる。

【0071】

映像データ復号化部２３０は、深度別分割情報を利用し、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用し、復号化することができる。

【0072】

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位と見なされる。

【0073】

一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0074】

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

【0075】

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。

【0076】

図３は、階層的符号化単位の概念を図示している。

【0077】

符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割されてもよい。

【0078】

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

【0079】

解像度が高かったり、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択されてもよい。

【0080】

ビデオデータ３１０の最大深度はが２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

【0081】

ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４の最大符号化単位から、３回分割して深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能力が向上しうる。

【0082】

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。

【0083】

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用し、インター推定及び動き補償を遂行する。

【0084】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されてもよい。

【0085】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行せねばならない。

【0086】

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決定せねばならない。

【0087】

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。

【0088】

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

【0089】

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用し、インターモードの符号化単位に対して動き補償を遂行する。

【0090】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力されてもよい。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力されてもよい。

【0091】

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が行われる。

【0092】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行せねばならない。

【0093】

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造によるそれぞれの符号化単位ごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位のサイズを決定せねばならない。

【0094】

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

【0095】

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されもする。

【0096】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

【0097】

すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

【0098】

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割されてもよい。

【0099】

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されてもよい。

【0100】

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されてもよい。

【0101】

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されてもよい。

【0102】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０にのみ設定される。

【0103】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を遂行せねばならない。

【0104】

同じ範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個を含むデータに対し、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用してそれぞれ符号化されねばならない。

【0105】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最も小さい符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択されてもよい。

【0106】

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0107】

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じであるサイズの符号化単位で、映像を符号化したり復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択されてもよい。

【0108】

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

【0109】

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最も小さい変換単位が選択されてもよい。

【0110】

図８は、本発明の一実施形態による深度別符号化情報を図示している。

【0111】

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

【0112】

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうちいずれか一つを示すように設定される。

【0113】

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が指し示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化の遂行いかんが設定される。

【0114】

また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つであってもよい。

【0115】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。

【0116】

図９は、本発明の一実施形態による深度別符号化単位を図示している。

【0117】

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

【0118】

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ（９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が、対称的比率で分割されたパーティション９１２，９１４，９１６，９１８だけ例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

【0119】

パーティションタイプごとに、１個の２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２個のＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が遂行されねばならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで、予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ行われる。

【0120】

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、それ以上、下位深度に分割する必要がない。

【0121】

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

【0122】

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

【0123】

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していくことができる。

【0124】

最大深度がｄである場合、深度別分割情報は、深度ｄ−１まで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割（９７０）され、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。

【0125】

パーティションタイプのうち、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

【0126】

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１は、それ以上、下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定されもする。また、最大深度がｄであるから、深度ｄ−１の符号化単位９５２に係わる分割情報は設定されない。

【0127】

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とすることができる。一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードとして設定される。

【0128】

かような方法で、深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度として決定されてもよい。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報だけ「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されねばならない。

【0129】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して復号化に利用することができる。

【0130】

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

【0131】

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0132】

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0133】

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

【0134】

変換単位１０７０において、一部の映像データ１０５２については、符号化単位に比べて小さいサイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較してみれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態による他のビデオ復号化装置２００は、同じ符号化単位に係わるイントラ予測／動き推定／動き補償作業及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

【0135】

一実施形態による変換インデックス情報は、現在符号化単位を変換するのに利用された変換単位の構造についての情報を示すことができる。例えば、一実施形態による変換インデックス情報は、現在符号化単位から最終レベルの変換単位まで分割した回数、変換単位のサイズ及び形態に係わる情報を含んでもよい。一実施形態による符号化モードについての情報、すなわち、符号化情報は、現在符号化単位を符号化するために利用された各種方式についての情報を含み、変換インデックス情報を含んでもよい。

【0136】

一実施形態による変換インデックス情報は、現在変換単位が、下位レベルの変換単位に分割されるか否かを示すことができる。例えば、一実施形態による変換インデックス情報として、変換単位が下位レベルの変換単位に分割されるか否かを示す１ビットのデータである変換単位分割ビットが利用される。

【0137】

一実施形態で、変換インデックス情報は、現在符号化単位が均一サイズの変換単位に分割されるか否かを示すことができる。例えば、一実施形態による変換インデックス情報は、現在符号化単位の高さ及び幅が１回ずつ半分になって４個の変換単位に分割されるか、２回ずつ半分になって１６個の変換単位に分割されるかを示すことができる。すなわち、一実施形態による変換インデックス情報は、現在符号化単位が分割された同じサイズの変換単位の４の自乗の個数を示すことができる。

【0138】

他の実施形態による変換インデックス情報は、現在符号化単位が一実施形態によるツリー構造によって、多様なサイズの変換単位に分割されるか否かを示すことができる。例えば、他の実施形態による変換インデックス情報は、現在符号化単位がツリー構造による変換単位に分割されるまで、それぞれのレベルの変換単位の変換単位分割ビットが羅列されたビット列で表現される。他の実施形態による変換単位インデックス情報は、互いに隣接する同一レベルの変換単位の変換単位分割ビットが、それぞれの変換単位のジグザグスキャン順序で羅列されたビット列を含んでもよい。また、所定変換単位が階層的構造の下位レベルの変換単位に分割されてもよい場合、他の実施形態による変換単位インデックス情報は、下位レベルの変換単位の変換単位分割ビットが、それぞれの変換単位のジグザグスキャン順序で羅列されたビット列を含んでもよい。

【0139】

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

【0140】

【表1】

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

【0141】

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位に、それ以上分割されない深度が符号化深度であるから、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が遂行されねばならない。

【0142】

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

【0143】

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

【0144】

変換単位サイズは、イントラモードで、２種のサイズ、インターモードで、２種のサイズに設定される。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位のサイズは、ＮｘＮ、非対称型パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

【0145】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

【0146】

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認されもする。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0147】

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

【0148】

また、他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。

【0149】

図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

【0150】

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

【0151】

変換単位分割情報（ＴＵ size flag）は、一実施形態による変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

【0152】

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定される場合、変換単位分割情報（ＴＵ size flag））が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

【0153】

パーティションタイプ情報が、非対称型パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag））が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0154】

図１３を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増加し、変換単位が階層的に分割されもする。

【0155】

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

【0156】

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位のサイズが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位のサイズが８ｘ８に設定される。

【0157】

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位のサイズが３２ｘ３２に設定され、変換単位のサイズが３２ｘ３２より小さくはないので、それ以上の変換単位分割情報が設定されない。

【0158】

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であって、他の変換単位分割情報が設定されない。

【0159】

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」であると定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

【0160】

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（2^MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（2^MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズの「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるから、それらのうち小さい値が現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」であってもよい。

【0161】

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なることもある。

【0162】

例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記数式（２）によって決定されもする。数式（２）で、「MaxTransformSize」は、最大変換単位サイズ「ＰＵSize」は、現在予測単位サイズを示す。

【0163】

RootTuSize＝ｍｉｎ（MaxTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのち小さい値に設定される。

【0164】

現在パーティション単位の予測モードが予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定されもする。「PartitionSize」は、現在パーティション単位のサイズを示す。

【0165】

RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズの「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

【0166】

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、これに限定されるものではないということに留意せねばならない。

【0167】

図１４は、本発明の一実施形態によるビデオ符号化方法のフローチャートである。

【0168】

段階１２１０で、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。また、可能な総分割回数を示す最大深度があらかじめ設定されもする。

【0169】

段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域別に符号化され、少なくとも１つの分割領域別に、最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。

【0170】

最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立し、空間的に分割されつつ、さらに下位深度の符号化単位に分割されてもよい。深度別に符号化単位ごとに、反復して符号化が遂行されねばならない。

【0171】

また、深度別符号化単位ごとに、符号化誤差が最も小さいパーティションタイプ別変換単位が決定されねばならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、あらゆる深度別符号化単位ごとに、符号化誤差が測定されて比較される。

【0172】

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報及び変換単位サイズ情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データと共に、復号化端に伝送される。

【0173】

図１５は、本発明の一実施形態によるビデオ復号化方法のフローチャートである。

【0174】

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。

【0175】

段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、並びに最大符号化単位別符号化深度及び符号化モードについての情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に、符号化誤差が最も小さい深度として選択された深度である。最大符号化単位別符号化は、最大符号化単位を、深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

【0176】

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割されてもよい。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することによって、映像の符号化・復号化の効率性が向上しうる。

【0177】

段階１３３０で、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。復号化された映像データは、再生装置によって再生されたり、記録媒体に保存されたり、ネットワークを介して伝送される。

【0178】

図１６は、本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ符号化装置を図示している。

【0179】

一実施形態によって、スキップ及び分割順序を考慮した映像符号化装置１４００は、最大符号化単位分割部１４１０、符号化単位及び符号化モード決定部１４２０及び出力部１４３０を含む。一実施形態によって、スキップ及び分割順序を考慮した映像符号化装置１４００は、一実施形態による映像符号化装置１００の具体的な実施形態であり、一実施形態による映像符号化装置１００の最大符号化単位分割部１１０、符号化深度決定部１２０及び出力部１３０が、構成要素別に、それぞれ最大符号化単位分割部１４１０、符号化単位及び符号化モード決定部１４２０及び出力部１４３０に対応する。

【0180】

一実施形態による最大符号化単位分割部１４１０は、入力映像のピクチャを、所定サイズの最大符号化単位に分割し、最大符号化単位別映像データが、符号化単位及び符号化モード決定部１４２０に出力される。

【0181】

一実施形態による符号化単位及び符号化モード決定部１４２０は、最大符号化単位分割部１４１０から入力された最大符号化単位の領域を、深度が深くなるにつれて階層的に分割し、階層的に分割されたそれぞれの領域ごとに独立して、分割回数に対応する深度による深度別符号化単位に基づいた符号化を行う。

【0182】

また、それぞれの深度別符号化単位に基づいた符号化は、深度別符号化単位より小さいか、あるいは同じであるあらゆる形態及びサイズの予測単位に基づいた予測及び深度別符号化単位より小さいか、あるいは同じであるあらゆるサイズの変換単位に基づいた変換を伴う。

【0183】

これにより、一実施形態による符号化単位及び符号化モード決定部１４２０は、符号化結果が出力される少なくとも１つの符号化深度、符号化深度の符号化単位のパーティションタイプ、予測モード及び変換単位のサイズなどを決定することができる。かように決定された符号化深度の符号化単位と関連した情報が、符号化モードについての情報として決定されもする。

【0184】

一実施形態による符号化単位及び符号化モード決定部１４２０は、最大符号化単位の独立的領域ごとに、符号化結果を出力する符号化深度と、それに関連した符号化モードとを決定するために、それぞれの深度別に、深度別符号化単位に基づいて符号化し、原本映像データとの符号化誤差が最小である符号化深度と、それに関連した符号化モードとを検索することができる。

【0185】

一実施形態による符号化単位及び符号化モード決定部１４２０によって決定された符号化深度と、関連した符号化モードとについての情報、及び当該符号化の結果は、出力部１４３０に出力される。

【0186】

一実施形態による出力部１４３０は、最大符号化単位別に、パターン情報、符号化深度及び符号化モードについての情報、並びに符号化されたビデオデータを出力する。一実施形態による出力部１４３０は、パターン情報に基づいて、符号化単位のテクスチャ関連情報の出力いかんを設定することができる。

【0187】

一実施形態によるテクスチャ関連情報は、当該データ単位の変換係数に基づいた変換係数、変換単位のインデックス及び量子化パラメータを含む。データ単位が０ではない変換係数を少なくとも一つ有する場合、当該データユニットのテクスチャ関連情報が符号化される。

【0188】

一実施形態によるパターン情報は、当該変換単位の最大符号化単位、当該符号化単位との階層的構造に基づいて設定された、階層的符号化単位パターン情報、最大符号化単位パターン情報及び符号化単位パターン情報を含んでもよい。

【0189】

一実施形態による階層的符号化単位パターン情報は、下位変換深度の変換単位に係わるテクスチャ関連情報及び符号化単位パターン情報の符号化いかんを示す。一実施形態による階層的符号化単位パターン情報は、現在最大符号化単位の符号化深度の符号化単位から、符号化モードの最終変換単位まで階層的に設定される。

【0190】

一実施形態によって、現在変換深度の変換単位は、下位変換深の変換単位を４個含むので、変換深度ごとに、当該階層的符号化単位パターン情報は、再帰的に、４個の下位変換深度の変換テクスチャ関連情報及び符号化単位パターン情報の符号化いかんを決定する。

【0191】

一実施形態による出力部１４３０は、現在変換深度の変換単位のテクスチャ関連情報及び符号化単位パターン情報を符号化せずに、下位変換深度の変換単位の符号化単位パターン情報を符号化する場合、現在変換単位の階層的符号化単位パターン情報を１に設定することができる。

【0192】

ただし、現在変換深度が符号化モードの最終変換深度であり、現在変換単位に基づいたテクスチャ関連情報が存在する場合には、一実施形態による出力部１４３０は、現在変換単位の階層的符号化単位パターン情報を１に設定することができる。

【0193】

また、一実施形態による出力部１４３０は、現在変換深度の変換単位のテクスチャ関連情報及び符号化単位パターン情報を符号化し、下位変換深度の変換単位の符号化単位パターン情報を符号化する必要がない場合、現在変換単位の階層的符号化単位パターン情報を０に設定することができる。

【0194】

一実施形態による出力部１４３０は、符号化モードによる最終変換深度の変換単位に係わるテクスチャ関連情報の符号化いかんを示す符号化単位パターン情報を出力することができる。

【0195】

一実施形態による最大符号化単位パターン情報は、現在最大符号化単位のテクスチャ関連情報の符号化いかんを示す。一実施形態による出力部１４３０は、最大符号化単位パターン情報を利用し、最大符号化単位の符号化深度の符号化単位の階層的符号化単位パターン情報の出力いかんを設定することができる。

【0196】

例えば、最大符号化単位内に、テクスチャ情報が存在しないならば、当該最大符号化単位である最大符号化単位パターン情報が０に設定され、その下位深度の符号化単位の符号化単位パターン情報、階層的符号化単位パターン情報及びテクスチャ関連情報は、出力される必要がない。ただし、最大符号化単位に、テクスチャ情報が存在するならば、最大符号化単位パターン情報は、１に設定され、下位深度の符号化単位の符号化単位パターン情報、階層的符号化単位パターン情報及びテクスチャ関連情報などが設定される。

【0197】

従って、１つの最大符号化単位に係わるパターン情報として、最大符号化単位パターン情報、符号化単位及び変換単位の階層的符号化単位パターン情報、並びに符号化単位パターン情報が出力されてもよい。

【0198】

一実施形態に係わるパターン情報は、カラー成分別に、予測モード別に符号化されもする。

【0199】

一実施形態によるグループパターン情報は、カラー成分別係数のためのテクスチャ関連情報が符号化されるか否かを示すように符号化されもする。一実施形態によるグループパターン情報は、カラー成分のうち、少なくとも一つを含むカラー成分組み合わせについて設定されもする。すなわち、カラー成分組み合わせに属し、０ではないかカラー成分の係数が存在するか否かを示すように、グループパターン情報が符号化される。

【0200】

例えば、一実施形態によるグループパターン情報は、Ｙ成分、Ｃｒ成分及びＣｂ成分のうち少なくとも１つの組み合わせに対されるカラー成分別係数のためのテクスチャ関連情報が符号化されるか否かを示すように設定される。具体的には、一実施形態によるグループパターン情報は、ＬＵＭＡ（luminance）成分及びクロマ成分のあらゆるカラー成分に係わるカラー成分別係数のためのテクスチャ関連情報が符号化されるか否かを示すことができる。他の例として、一実施形態によるグループパターン情報がＬＵＭＡ成分を除外したクロマ成分のカラー成分に係わるカラー成分別係数のためのテクスチャ関連情報について設定されもする。

【0201】

一実施形態によるグループパターン情報に基づいて、それぞれのカラー成分別パターン情報の符号化いかんが決定されもする。また、カラー成分組み合わせに属するカラー成分を除外したカラー成分に係わるパターン情報が存在するならば、別途に符号化することができる。

【0202】

一実施形態による変換単位パターン情報の稠密度によって、重複し、あるいは不要なパターン情報を省略するために、稠密パターン情報が符号化されもする。稠密パターン情報の例として、単一レベルパターン情報または反転パターン情報が符号化されもする。

【0203】

一実施形態による出力部１４３０は、一実施形態による階層的符号化単位パターン情報、符号化単位パターン情報及び最大符号化単位パターン情報などを利用する階層的データ単位による階層的パターン情報を符号化するか、あるいは他の方式のパターン情報を符号化するか否かを選択的に決定することができる。例えば、一実施形態による出力部１４３０は、現在符号化単位の符号化深度によって、一実施形態による階層的データ単位による階層的パターン情報、または一実施形態による稠密パターン情報を符号化するか否かを決定することができる。

【0204】

また、一実施形態による出力部１４３０は、現在符号化単位の符号化モードによって、一実施形態による階層的データ単位による階層的パターン情報、または一実施形態による稠密パターン情報を符号化するか否かを決定することができる。例えば、現在符号化単位の符号化モードのうち、現在符号化単位の映像データのＬＵＭＡ成分またはクロマ成分などのカラー成分；量子化パラメータ；インターモードまたはイントラモードなどの予測モード；Ｉタイプ、ＰタイプまたはＢタイプなどのスライスタイプ；双方向予測または単一方向予測などのインターモードの予測方向のうち少なくとも一つを考慮し、現在符号化単位について、階層的パターン情報、または一実施形態による稠密パターン情報を符号化するか否かが決定される。

【0205】

一実施形態による出力部１４３０は、現在符号化単位のパターン情報として、一実施形態による階層的データ単位による階層的パターン情報、または一実施形態による稠密パターン情報が符号化されたか否かを示すパターン情報種類情報を符号化することができる。例えば、一実施形態によるパターン情報種類情報は、階層的パターン情報を利用し、パターン情報の符号化いかんを示すフラグの形態で符号化される。

【0206】

他の実施形態によるパターン情報種類情報は、階層的パターン情報、カラー成分別グループパターン情報、単一レベルパターン情報、反転パターン情報などのさまざまなパターン情報を指し示すインデックスでもって表現されもする。

【0207】

従って、一実施形態による出力部１４３０は、最大符号化単位、符号化単位及び変換単位によって階層的に設定されたパターン情報に基づいて、符号化されたデータのテクスチャ情報を伝送ビットストリームに挿入して出力することができる。

【0208】

図１７は、本発明の一実施形態による、階層的データ単位のパターン情報を利用するビデオ復号化装置を図示している。

【0209】

一実施形態によって、スキップ及び分割順序を考慮した映像復号化装置１５００は、受信部１５１０、データ抽出部１５２０及び復号化部１５３０を含む。一実施形態によって、スキップ及び分割順序を考慮した映像復号化装置１５００は、一実施形態による映像復号化装置２００の具体的な実施形態であってもよい。一実施形態によるビデオ復号化装置２００の受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０は、構成要素別に、それぞれ一実施形態による映像復号化装置１５００の受信部１５１０、データ抽出部１５２０及び復号化部１５３０に対応しうる。

【0210】

一実施形態による受信部１５１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。

【0211】

一実施形態によるデータ抽出部１５２０は、受信部１５１０からパージングされたビットストリームを受信し、ビットストリームから、最大符号化単位別に、符号化深度と、関連符号化モードとについての情報、及び符号化されたビデオデータを抽出する。

【0212】

特に、一実施形態によるデータ抽出部１５２０は、受信部１５１０からパージングされたビットストリームからパターン情報を抽出し、パターン情報に基づいて、符号化されたビデオデータのうち、テクスチャ関連情報を抽出することができる。

【0213】

一実施形態によるデータ抽出部１５２０が、パターン情報として、階層的符号化単位パターン情報、符号化単位パターン情報及び最大符号化単位パターン情報を抽出することができる。

【0214】

まず、一実施形態によるデータ抽出部１５２０が、符号化単位パターン情報を抽出した場合、符号化単位パターン情報に基づいて、当該変換単位に係わるテクスチャ関連情報の抽出いかんを決定することができる。テクスチャ関連情報は、当該変換単位の変換係数、変換単位のインデックス、量子化パラメータなどを含む。

【0215】

一実施形態によるデータ抽出部１５２０が、階層的符号化単位パターン情報を抽出した場合、階層的符号化単位パターン情報に基づいて、階層的には、下位変換深度の変換単位に係わるテクスチャ関連情報及び符号化単位パターン情報の抽出いかんを決定することができる。

【0216】

また、一実施形態によるデータ抽出部１５２０が、現在符号化単位から符号化モードによる変換単位に達するまで、再帰的に階層的符号化単位パターン情報に基づいて、下位変換深度の変換単位の符号化単位パターン情報及びテクスチャ関連情報の抽出いかんを決定することができる。

【0217】

もし階層的符号化単位パターン情報が１であるならば、一実施形態によるデータ抽出部１５２０は、現在変換深度の変換単位のテクスチャ関連情報及び符号化単位パターン情報を抽出せずに、下位変換深度の変換単位の符号化単位パターン情報を抽出することができる。ただし、現在変換深度が最終変換深度であり、階層的符号化単位パターン情報が１であるならば、一実施形態によるデータ抽出部１５２０は、現在変換単位に基づいたテクスチャ関連情報を抽出することができる。

【0218】

もし階層的符号化単位パターン情報が０であるならば、一実施形態によるデータ抽出部１５２０は、現在変換深度の変換単位のテクスチャ関連情報及び符号化単位パターン情報を抽出し、それ以上、下位変換深度の変換単位の符号化単位パターン情報を抽出する必要がない。

【0219】

一実施形態によるデータ抽出部１５２０が、最大符号化単位パターン情報を抽出した場合、最大符号化単位パターン情報に基づいて、最大符号化単位の符号化深度の符号化単位の階層的符号化単位パターン情報の抽出いかんを決定することができる。

【0220】

例えば、最大符号化単位パターン情報が１である場合、一実施形態によるデータ抽出部１５２０は、最大符号化単位の符号化深度の符号化単位の階層的符号化単位パターン情報の抽出いかんを決定することができる。最大符号化単位パターン情報が０である場合には、当該最大符号化単位に係わるテクスチャ関連情報が抽出されない。

【0221】

一実施形態によるデータ抽出部１５２０は、最上位変換深度０である変換単位のパターン情報が０であるならば、変換インデックス情報を抽出することができない。一実施形態によるデータ抽出部１５２０は、最上位変換深度０である変換単位のパターン情報が０ではない場合、現在符号化単位に係わる符号化モードについての情報のうち変換インデックス情報を抽出することができ、変換深度ごとに、変換単位パターン情報を抽出することができる。

【0222】

一実施形態によるデータ抽出部１５２０は、カラー成分別パターン情報、または予測モード別パターン情報を抽出することもできる。

【0223】

一実施形態によるデータ抽出部１５２０は、グループパターン情報から読み取り、現在データ単位のカラー成分別に、０ではない係数が少なくとも一つ存在するか否かを決定し、それぞれのカラー成分別パターン情報の抽出いかんを決定することもできる。一実施形態によるデータ抽出部１５２０は、グループパターン情報から読み取り、カラー成分組み合わせに属する少なくとも１つのカラー成分別に、０ではない係数が少なくとも一つ存在するか否かを決定し、カラー成分組み合わせに属するそれぞれのカラー成分別パターン情報の抽出いかんを決定することもできる。

【0224】

例えば、一実施形態によるデータ抽出部１５２０は、グループパターン情報に基づいて、Ｙ成分、Ｃｒ成分及びＣｂ成分のうち少なくとも１つの組み合わせに係わるカラー成分別に、０ではない係数が少なくとも一つ存在するか否かを分析することができる。具体的には、一実施形態によるグループパターン情報に基づいて、ＬＵＭＡ成分及びクロマ成分のあらゆるカラー成分に係わるカラー成分別に、０ではない係数が少なくとも一つ存在するか否かが確認される。他の例として、一実施形態によるグループパターン情報に基づいて、ＬＵＭＡ成分を除外したクロマ成分のカラー成分別に、０ではない係数が少なくとも一つ存在するか否かが読み取られもする。

【0225】

一実施形態によるデータ抽出部１５２０は、グループパターン情報に基づいて、カラー成分組み合わせに属するそれぞれのカラー成分別パターン情報の抽出いかんを決定し、カラー成分組み合わせに属するカラー成分を除外したカラー成分が存在するならば、別途に抽出することができる。

【0226】

一実施形態によるデータ抽出部１５２０は、変換単位パターン情報の稠密度によって、重複したり、あるいは不要なパターン情報が省略された形態の稠密パターン情報を抽出することもできる。

【0227】

一実施形態によるデータ抽出部１５２０は、一実施形態による階層的データ単位による階層的パターン情報、または他の方式のパターン情報を抽出することができる。例えば、一実施形態によるデータ抽出部１５２０は、現在符号化単位の符号化深度によって、選択的に符号化された一実施形態による階層的パターン情報、または一実施形態による稠密パターン情報を抽出することができる。

【0228】

一実施形態によるデータ抽出部１５２０は、現在符号化単位の符号化モードによって選択的に符号化された、一実施形態による階層的データ単位による階層的パターン情報、または一実施形態による稠密パターン情報を抽出することもできる。例えば、現在符号化単位の符号化モードのうち、カラー成分、量子化パラメータ、予測モード、スライスタイプ、インターモードの予測方向のうち少なくとも一つを考慮し、階層的パターン情報または稠密パターン情報に選択的に符号化された現在符号化単位のパターン情報を抽出することができる。

【0229】

一実施形態によるデータ抽出部１５２０は、一実施形態による階層的データ単位による階層的パターン情報、または一実施形態による稠密パターン情報が符号化されたか否かを示すパターン情報種類情報を抽出することができる。例えば、一実施形態によるデータ抽出部１５２０は、現在パターン情報が階層的パターン情報であるか否かを示すフラグ形態のパターン情報種類情報を読み取り、現在符号化単位のパターン情報が、階層的パターン情報及び稠密パターン情報であるか否かを決定することもできる。

【0230】

または、さまざまなパターン情報を指し示すインデックス形態で表現されたパターン情報の種類情報を読み取り、抽出されたパターン情報が、階層的パターン情報、カラー成分別グループパターン情報、単一レベルパターン情報、反転パターン情報などの多様なパターン情報のうち、いずれか一つであるかを決定することができる。

【0231】

一実施形態による復号化部１５３０は、データ抽出部１５２０から、符号化モードについての情報、及び符号化されたビデオデータを入力され、符号化深度及び符号化モードについての情報に基づいて、符号化されたビデオデータの少なくとも１つの符号化深度の符号化単位別に、符号化されたビデオデータを復号化する。

【0232】

復号化されて復元されたビデオデータは、再生可能な各種端末に伝送されたり、保存機器に保存されてもよい。

【0233】

一実施形態による、階層的データ単位のパターン情報を利用するビデオ符号化装置１４００、及び一実施形態による、階層的データ単位のパターン情報を利用するビデオ復号化装置１５００は、符号化単位パターン情報の稠密度に基づいて、パターン情報を適用するデータ単位を決定することができる。例えば、符号化単位パターン情報が稠密ではないならば、最大符号化単位レベルの最大符号化単位パターン情報を利用することによって、ビットレートを向上させることができる。ただし、符号化単位パターン情報がコンパクトであるならば、最大符号化単位パターン情報を利用しないことが、ビットレート面で有利である。従って、一実施形態によって、パターン情報の適用データ単位を選択的に調節することによって、ビットストリームの伝送効率をさらに向上させることができる。

【0234】

以下、図１８ないし図２６を参照し、本発明の多様な実施形態による階層的データ単位のパターン情報が開示する。

【0235】

図１８は、本発明の一実施形態による最大符号化単位及び符号化深度の符号化単位の階層的構造を図示している。

【0236】

一実施形態によるパターン情報について説明するために、符号化深度である深度１の符号化単位１６２０，１６２２，１６２４，１６２６を含む最大符号化単位１６１０を例として挙げる。最大符号化単位パターン情報が利用されない第１実施形態と、最大符号化単位パターン情報が利用される第２実施形態とについて以下で説明する。

【0237】

まず、最大符号化単位１６１０に変換係数が全くない場合（以下、「場合１」とする）を想定する。

【0238】

第１実施形態では、最大符号化単位１６１０に係わるパターン情報の符号化なしに、符号化単位１６２０，１６２２，１６２４，１６２６に対してパターン情報が符号化される。すなわち、符号化単位１６２０，１６２２，１６２４，１６２６に対して、それぞれ変換深度０の変換単位の符号化単位パターン情報が「０」に符号化される。従って、場合１に係わる第１実施形態のパターン情報は、「００００」、総４ビットで出力される。

【0239】

また、場合１に係わる第２実施形態では、最大符号化単位１６１０に対して、最大符号化単位パターン情報が「０」に符号化され、符号化単位１６２０，１６２２，１６２４，１６２６に係わるパターン情報は、設定される必要がない。従って、場合１に係わる第２実施形態のパターン情報は、「０」、総１ビットで出力される。

【0240】

従って、最大符号化単位１６１０に変換係数が全くない場合には、最大符号化単位パターン情報が利用されることによって、ビットレート面で有利である。

【0241】

第二に、最大符号化単位１６１０に変換係数が存在し、符号化単位１６２２，１６２６について変換係数がなく、符号化単位１６２０，１６２４の変換深度２の変換単位の変換係数が存在する場合（以下、「場合２」とする）を想定する。

【0242】

第１実施形態では、最大符号化単位１６１０に係わるパターン情報の符号化なしに、符号化単位１６２０，１６２２，１６２４，１６２６に係わるパターン情報として、深度１の符号化単位１６２０，１６２２，１６２４，１６２６の階層的符号化単位パターン情報「１」；符号化単位１６２０の変換深度０の変換単位の階層的符号化単位パターン情報「１」、変換深度１の階層的符号化単位パターン情報「１」、及び符号化単位パターン情報「１１００」；符号化単位１６２２の変換深度０の変換単位の階層的符号化単位パターン情報「０」；符号化単位１６２４の変換深度０の変換単位の階層的符号化単位パターン情報「１」、変換深度１の階層的符号化単位パターン情報「１」及び符号化単位パターン情報「１１１０」；及び符号化単位１６２６の変換深度０の変換単位の階層的符号化単位パターン情報「０」が設定される。従って、場合１に係わる第１実施形態のパターン情報は、「１１１１０００１１１１００」、総１３ビットで出力される。

【0243】

第２実施形態では、最大符号化単位１６１０に対して、最大符号化単位パターン情報が「１」でもって符号化され、以下、符号化単位１６２０，１６２２，１６２４，１６２６に係わるパターン情報として、深度１の符号化単位１６２０，１６２２，１６２４，１６２６の階層的符号化単位パターン情報「１」；符号化単位１６２０の変換深度０の変換単位の階層的符号化単位パターン情報「１」、変換深度１の階層的符号化単位パターン情報「１」及び符号化単位パターン情報「１１００」、符号化単位１６２２の変換深度０の変換単位の階層的符号化単位パターン情報「０」；符号化単位１６２４の変換深度０の変換単位の階層的符号化単位パターン情報「１」、変換深度１の階層的符号化単位パターン情報「１」及び符号化単位パターン情報「１１１０」；及び符号化単位１６２６の変換深度０の変換単位の階層的符号化単位パターン情報「０」が設定される。従って、場合２に係わる第２実施形態のパターン情報は、「１１１１１０００１１１１００」、総１４ビットで出力される。

【0244】

従って、最大符号化単位内で、符号化単位パターン情報が稠密である場合には、最大符号化単位パターン情報を使用しない場合が、ビットレート面で有利である。

【0245】

従って、一実施形態による階層的データ単位のパターン情報を利用するビデオ符号化装置１４００は、最大符号化単位の符号化単位パターン情報の稠密度を分析し、パターン情報を適用するデータ単位のレベルを調節することができる。以上、最大符号化単位パターン情報についてのみ説明したが、本発明は、これに限定されるものではなく、最大符号化単位内の所定深度の符号化単位、複数の最大符号化単位グループなど、所定データ単位について応用されもする。

【0246】

図１９、図２０Ａ、図２０Ｂ、図２１Ａ、図２１Ｂ及び図２１Ｃは、多様な実施形態によるグループパターン情報を利用した符号化過程のフローチャートである。

【0247】

一実施形態によるビデオ符号化装置１４００の出力部１４３０は、ビデオデータのカラー成分別にパターン情報を符号化することができる。例えば、ＬＵＭＡ成分係数のデータ単位に係わるＬＵＭＡパターン情報、Ｃｂ成分係数のデータ単位に係わるＣｂパターン情報、Ｃｒ成分係数のデータ単位に係わるＣｒパターン情報が、それぞれ符号化される。

【0248】

また、一実施形態による出力部１４３０は、１つのデータ単位のカラー成分別ビデオデータに係わるグループパターン情報を符号化した後、カラー成分別パターン情報を符号化することもできる。

【0249】

図１９によれば、段階１９１０で、グループパターン情報（グループＣＢＦ）が、現在データ単位のＬＵＭＡ成分、Ｃｂ成分及びＣｒ成分のビデオデータについて設定される。段階１９１０で、グループパターン情報が０に設定されれば、現在データ単位に係わるパターン情報設定動作は終了し、グループパターン情報が１に設定されれば、段階１９２０，１９３０及び１９４０に進み、カラー成分別に、ＬＵＭＡパターン情報（ＬＵＭＡ ＣＢＦ、Ｃｂパターン情報（Ｃｂ ＣＢＦ）及びＣｒパターン情報（Ｃｒ ＣＢＦ）が設定される。

【0250】

段階１９２０で、ＬＵＭＡパターン情報が１に設定されれば、段階１９２５に進んでＬＵＭＡ成分の係数が符号化され、０に設定されれば、ＬＵＭＡ成分係数に係わる符号化動作は省略される。同様に、段階１９３０で、Ｃｂパターン情報が１に設定されれば、段階１９３５に進んでＣｂ成分の係数が符号化され、０に設定されれば、Ｃｂ成分係数に係わる符号化動作は省略される。同様に、段階１９４０で、Ｃｒパターン情報が１に設定されれば、段階１９４５に進んでＣｒ成分の係数が符号化され、０に設定されれば、Ｃｒ成分係数に係わる符号化動作は省略される。

【0251】

図２０Ａ及び図２０Ｂによれば、現在データ単位のＬＵＭＡ成分係数に係わるＬＵＭＡパターン情報は、別途に設定され（フローチャート２０００）、グループパターン情報がクロマ成分係数、すなわち、Ｃｂ成分係数及びＣｒ成分係数について設定される（フローチャート２０２０）。

【0252】

段階２０１０で、現在データ単位のＬＵＭＡ成分係数に係わるＬＵＭＡパターン情報が１に設定されれば、段階２０１５に進んでＬＵＭＡ成分係数が符号化され、０に設定されれば、ＬＵＭＡ成分係数に係わる符号化動作は省略される。

【0253】

段階２０３０で、グループパターン情報が、現在データ単位のＣｂ成分及びＣｒ成分のビデオデータについて設定される。段階２０３０で、グループパターン情報が０に設定されれば、現在データ単位に係わるパターン情報設定動作は終了し、Ｃｂ成分係数及びＣｒ成分係数の符号化動作も終了する。段階２０３０で、グループパターン情報が１に設定されれば、段階２０４０及び２０５０に進み、Ｃｂパターン情報及びＣｒパターン情報が符号化されもする。

【0254】

段階２０４０（または段階２０５０）で、Ｃｂパターン情報（またはＣｒパターン情報）が１に設定されれば、段階２０４５（または段階２０５５）に進んでＣｂ成分係数（またはＣｒ成分係数）が符号化され、Ｃｂパターン情報（またはＣｒパターン情報）が０に設定されれば、Ｃｂ成分係数（またはＣｒ成分係数）に係わる符号化動作は省略される。

【0255】

図２１Ａ、図２１Ｂ及び図２１Ｃによれば、現在データ単位のＬＵＭＡパターン情報は、別途に設定され、ＬＵＭＡパターン情報の設定値によって、現在データ単位のクロマ成分係数に係わるグループパターン情報が設定されるか否かが決定されもする。

【0256】

例えば、ＬＵＭＡパターン情報の設定値が１である場合、カラー成分を考慮したグループパターン情報は、符号化されず（フローチャート２１００，２１２０）、ＬＵＭＡパターン情報の設定値が０である場合、Ｃｂ成分係数及びＣｒ成分係数に係わるグループパターン情報が符号化される（フローチャート２１４０）。

【0257】

すなわち、現在データ単位に、０ではないＬＵＭＡ係数が存在し、ＬＵＭＡパターン情報が１に設定されれば、段階２１１０で、０ではないＣｂ成分係数の存在いかんによって、Ｃｂパターン情報が設定され、０ではないＣｂ成分係数は符号化する（段階２１１５）。同様に、段階２１３０で、０ではないＣｒ成分係数の存在いかんによって、Ｃｒパターン情報が設定され、０ではないＣｒ成分係数は、符号化される（段階２１３５）。

【0258】

また、現在データ単位に、０ではないＬＵＭＡ係数が存在せず、ＬＵＭＡパターン情報が０に設定されれば、段階２１５０で、現在データ単位に、０ではないＣｂ成分係数及びＣｒ成分係数の存在いかんによって、グループパターン情報が設定される。段階２１５０で、０ではないＣｂ成分係数及びＣｒ成分係数がないので、グループパターン情報が０に設定されれば、現在データ単位のＣｂパターン情報及びＣｒパターン情報の設定動作と、Ｃｂ成分係数及びＣｒ成分係数の符号化動作は、終了する。

【0259】

段階２１５０で、現在データ単位に、０ではないＣｂ成分係数及びＣｒ成分係数が存在し、グループパターン情報が１に設定されれば、段階２１６０及び２１７０に進み、Ｃｂパターン情報及びＣｒパターン情報が符号化される。段階２１６０で、０ではないＣｂ成分係数の存在いかんによって、Ｃｂパターン情報が設定され、０ではないＣｂ成分係数は、符号化される（段階２１６５）。同様に、段階２１７０で、０ではないＣｒ成分係数の存在いかんによって、Ｃｒパターン情報が設定され、０ではないＣｒ成分係数は、符号化される（段階２１７５）。

【0260】

従って、一実施形態によるビデオ復号化装置１５００のデータ抽出部１５２０は、ビデオデータのカラー成分別に、パターン情報を抽出することができる。また、一実施形態によるデータ抽出部１５２０は、１つのデータ単位のカラー成分別ビデオデータに係わるグループパターン情報を抽出した後、グループパターン情報の判読結果によって、カラー成分別パターン情報を抽出することもできる。

【0261】

一実施形態によるビデオ符号化装置１４００の出力部１４３０は、階層的データ単位のパターン情報の稠密度を向上させるための形態の稠密パターン情報を出力することができる。

【0262】

図２２及び図２３は、多様な実施形態による階層的データ単位パターン情報と、単一レベルパターン情報との符号化過程のフローチャートを比較する
図２２及び図２３では、説明の便宜のために、変換深度によって、上位変換深度の変換単位は、４個の下位変換深度の変換単位に均等分割される実施形態を仮定する。ただし、本発明の変換単位のパターン情報は、これに限定されるものではなく、上位変換深度の変換単位が、多様な形態の下位変換深度の変換単位に分割される場合に適用されもする。

【0263】

図２２は、一実施形態による階層的データ単位のパターン情報を利用した符号化過程のフローチャートである。変換単位が変換深度ｎで決定されるならば、変換単位のパターン情報は、変換単位０からｎまでのパターン情報がいずれも設定されねばならない。

【0264】

具体的に説明すれば、段階２２１０で、変換深度０である変換単位のパターン情報が符号化される。変換深度０である変換単位のパターン情報が０であるならば、変換単位の係数は、符号化されない。段階２２１０で、変換深度０である変換単位のパターン情報が１に設定されれば、変換深度０である変換単位が分割された、変換深度１の４個の変換単位のパターン情報が符号化される（段階２２２０，２２２２，２２２４，２２２６）。段階２２２０，２２２２，２２２４及び２２２６で、それぞれの変換深度１である変換単位のパターン情報の設定値に基づいて、下位変換深度の変換単位のパターン情報を符号化するか否かが決定される。変換深度が増大することによって、０から２＾（２ｎ）−１まで最大総２＾（２ｎ）個の変換深度ｎである変換単位に対してパターン情報が符号化される（段階２２３０，２２３２，２２３４，２２３６）。

【0265】

図２３は、一実施形態による稠密パターン情報のうち、単一レベルパターン情報の符号化過程のフローチャートである。ツリー構造による変換単位が、変換深度ｎで決定されるならば、単一レベルパターン情報は、変換深度ｎの変換単位のパターン情報だけで表現される。すなわち、一実施形態による単一レベルパターン情報として、最大総２＾（２ｎ）個の変換深度ｎの変換単位のパターン情報が符号化される（段階２３１０，２３１２，２３１４，２３１６）。一実施形態による単一レベルパターン情報を利用することによって、現在符号化単位内のツリー構造による変換単位ではない、一般変換深度の変換単位のパターン情報が省略される。

【0266】

図２４は、一実施形態による反転パターン情報の概念を図示している。

【0267】

一実施形態による反転パターン情報は、イントラモードの符号化単位の変換単位について設定されることが望ましい。一実施形態による反転パターン情報は、現在符号化単位内のツリー構造による変換単位のパターン情報の設定値が、０は１に、１は０に反転された状態について、設定されたビット値を示す。

【0268】

原本符号化単位２４１０，２４３０，２４４０，２４６０は、それぞれ変換深度１である変換単位で構成されている。原本符号化単位２４１０，２４３０，２４４０，２４６０内に記載された数字は、それぞれの変換単位のパターン情報を示す。イントラモードの原本符号化単位２４１０，２４３０，２４４０，２４６０の変換単位のうちパターン情報は、０ではない傾向がさらに強い。

【0269】

原本符号化単位２４１０がパターン情報１，０，１，１の変換単位で構成されているので、変換単位パターン情報が反転された符号化単位２４２０は、パターン情報０，１，０，０の変換単位で構成される。すなわち、符号化単位２４１０の原本階層的パターン情報（原本ＣＢＦ）は、変換深度０で「１」、変換深度１で「１０１１」に符号化される一方、符号化単位２４２０の反転パターン情報は、変換深度０で「１」、変換深度１で「０１００」に符号化される。

【0270】

原本符号化単位２４３０がパターン情報１，１，１，１の変換単位で構成されているので、変換単位パターン情報が反転された符号化単位２４４０は、パターン情報０，０，０，０の変換単位で構成される。すなわち、符号化単位２４３０の原本階層的パターン情報は、変換深度０で「１」、変換深度１で「１１１１」に符号化される一方、符号化単位２４４０の反転パターン情報は、変換深度０で「０」にのみ符号化される。

【0271】

原本符号化単位２４５０がパターン情報１，０，１，１の変換単位で構成された場合、符号化単位２４５０の原本階層的パターン情報は、変換深度０で「１」、変換深度１で「１１００」に符号化される一方、変換単位パターン情報が反転された符号化単位２４６０の変換単位のパターン情報は、０，１，０，０になりつつ、符号化単位２４６０の反転パターン情報は、変換深度０で「１」、変換深度１で「００１１」に符号化される。

【0272】

原本符号化単位２４７０も、パターン情報１，１，１，１の変換単位で構成された場合、符号化単位２４７０の原本階層的パターン情報（原本ＣＢＦ）は、変換深度０で「１」、変換深度１で「１１１１」に符号化される一方、変換単位のパターン情報が反転された符号化単位２４８０の変換単位のパターン情報は、０，０，０，０になりつつ、符号化単位２４８０の反転パターン情報は、変換深度０で「０」にのみ符号化される。

【0273】

図２５は、多様な実施形態による稠密パターン情報の符号化過程のフローチャートである。

【0274】

段階２５１０で、現在符号化単位に対して所定条件が満足されるとき、段階２５３０で、一実施形態によるビデオ符号化装置１４００の出力部１４３０は、現在符号化単位に対して稠密パターン情報を符号化することができる。例えば、稠密パターン情報を符号化するための所定条件とは、現在符号化単位の予測モードがイントラモード（またはインターモード）である条件、量子化パラメータが臨界値より小さい条件、クロマ成分係数（またはＬＵＭＡ成分係数）である条件などを含んでもよい。一実施形態による稠密パターン情報は、単一レベルパターン情報、反転パターン情報などを含んでもよい。

【0275】

段階２５１０で、現在符号化単位に対して所定条件が満足されない場合、段階２５２０で、一実施形態によるビデオ符号化装置１４００の出力部１４３０は、現在符号化単位に対して、一実施形態による階層的データ単位によるパターン情報が符号化される。具体的には、一実施形態による階層的符号化単位パターン情報が符号化され、階層的符号化単位パターン情報に基づいて、階層的には、下位変換深度の変換単位に係わるテクスチャ関連情報及び符号化単位パターン情報の符号化いかんが決定することができる。

【0276】

イントラモード、ＬＵＭＡ成分係数、量子化パラメータが小さい場合のデータ単位は、０ではない係数が多く、パターン情報の稠密度が高い傾向があるので、一実施形態による稠密パターン情報が有用に利用される。

【0277】

従って、一実施形態によるビデオ復号化装置１５００のデータ抽出部１５２０は、所定条件によって符号化された稠密パターン情報を抽出することができる。一実施形態による稠密パターン情報は、所定規則によって、パターン情報の表現方式が変形された実施形態であるから、一実施形態によるデータ抽出部１５２０は、あらかじめ決まった規則によって、稠密パターン情報を正しく判読し、当該データ単位の係数を抽出することができる。

【0278】

図２６は、一実施形態による変換インデックスとパターン情報との復号化過程のフローチャートである。

【0279】

符号化単位内に、０ではない係数が存在するときにのみ、符号化単位のための変換インデックス情報が有効であるので、一実施形態によるビデオ符号化装置１４００の出力部１４３０は、０ではない係数が存在する符号化単位でのみ変換インデックス情報を符号化することができる。従って、一実施形態によるビデオ復号化装置１５００のデータ抽出部１５２０は、段階２６１０で、現在符号化単位のパターン情報をパージングし、パターン情報が０であるならば、変換インデックス情報をパージングする必要もなく、現在符号化単位に係わる復号化動作が終了する。段階２６１０で、現在符号化単位のパターン情報が１であるならば、段階２６２０で、現在符号化単位の符号化モードについての情報のうち、変換インデックスがパージングされる。

【0280】

段階２６１０で、現在符号化単位と同じ変換深度０の変換単位パターン情報をパージングし、パターン情報が０であるならば、現在符号化単位の変換インデックス情報をパージングする必要もなく、現在変換単位に係わる復号化動作が終了する。段階２６１０で、変換深度０の変換単位パターン情報が１であるならば、段階２６２０で、変換単位の変換インデックスがパージングされる。

【0281】

段階２６２０で、現在符号化単位の変換インデックスが０であるならば、下位変換深度の変換単位に分割される必要なく、現在符号化単位の係数がパージングされる。パージングされた係数は、パージングされた符号化情報に基づいて、復号化されもする。段階２６２０で、変換インデックスが１以上であるならば、変換深度０の変換単位が、変換深度１の変換単位に分割され、それぞれの変換深度１の変換単位の変換単位パターン情報がパージングされる（段階２６４０，２６４２，２６４４，２６４６）。

【0282】

段階２６５０で、変換インデックスが２より小さければ、すなわち、変換インデックスが１であるならば、段階２６６０で、変換深度１の変換単位の係数がパージングされる。パージングされた係数は、パージングされた符号化情報に基づいて、復号化される。段階２６５０で、変換インデックスが２以上であるならば、すなわち、変換単位の変換深度が２以上であるならば、さらに変換深度１の変換単位が変換深度２の変換単位に分割され、それぞれの変換深度２の変換単位の変換単位パターン情報がパージングされる（段階２６７０，２６７２，２６７４，２６４６）。

【0283】

変換インデックスによってそれぞれの変換単位が変換深度に達するまで、前記のような過程が反復される。従って、現在符号化単位の変換単位パターン情報のうち、最上位変換深度０の変換単位パターン情報が０ではない場合、変換インデックス情報は、ただ１回パージングされるのに対し（段階２６２０）、変換単位パターン情報は、変換深度ほど変換深度別に、変換単位パターン情報がパージングすることができる（段階２６１０，２６４０，２６４２，２６４４，２６４６，２６７０，２６７２，２６７４，２６７６）。

【0284】

図２７は、本発明の一実施形態によって、階層的データ単位のパターン情報を利用するビデオ符号化方法のフローチャートである。

【0285】

段階２７１０で、ピクチャが、所定最大サイズの符号化単位に分割される。

【0286】

段階２７２０で、それぞれの最大符号化単位に対して、深度別に分割されて縮小された領域別に、少なくとも１つの深度別符号化単位ごとに、少なくとも１つの変換単位に基づいた変換を伴う符号化が行われる。符号化結果のうち、最小符号化誤差が発生する少なくとも１つの符号化深度及び変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードが選択されてもよい。

【0287】

段階２７３０で、最大符号化単位ごとに、パターン情報及び符号化モードについての情報及び符号化されたビデオデータを出力する。符号化されたビデオデータのテクスチャ情報は、パターン情報に基づいて、出力いかんが決定することができる。一実施形態に係わるパターン情報は、符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて設定され、階層的符号化単位パターン情報、最大符号化単位パターン情報及び符号化単位パターン情報を含んでもよい。

【0288】

一実施形態に係わるパターン情報は、カラー成分別係数の変換単位に係わるグループパターン情報、パターン情報の稠密度によって表現方式が変形される単一レベルパターン情報、及び反転パターン情報をさらに含んでもよい。

【0289】

一実施形態による階層的パターン情報、一実施形態によるグループパターン情報、一実施形態による稠密パターン情報などの多様なパターン情報のうち、いずれのパターン情報が符号化されるということは、現在符号化単位の符号化深度、符号化モードなどによって決定される。いずれのパターン情報が符号化されるかを示すパターン情報種類の情報が符号化されもする。

【0290】

図２８は、本発明の一実施形態によって、階層的データ単位のパターン情報を利用するビデオ復号化方法のフローチャートである。

【0291】

段階２８１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。

【0292】

段階２８２０で、パージングされたビットストリームから、最大符号化単位別に、少なくとも１つの符号化深度の符号化単位に係わる符号化モードについての情報、及び最大符号化単位別にテクスチャ関連情報の符号化いかんを示すパターン情報が抽出される。また、符号化モードについての情報及びパターン情報に基づいて、パージングされたビットストリームから、最大符号化単位別に符号化されたビデオデータが抽出される。

【0293】

特に、パターン情報のうち、最大符号化単位、符号化単位及び変換単位の階層的構造に基づく最大符号化単位パターン情報、階層的符号化単位パターン情報、及び符号化単位パターン情報を利用し、最大符号化単位の符号化深度別符号化単位ごとに、変換単位のテクスチャ情報の抽出いかんが決定することができる。一実施形態で、グループパターン情報に基づいて、カラー成分別係数の変換単位に係わるパターン情報が抽出されもする。一実施形態による単一レベルパターン情報または反転パターン情報は、パターン情報の稠密度によって、表現方式を変更して判読されねばならない。

【0294】

一実施形態による変換深度０である変換単位パターン情報が０である場合、現在変換単位に係わる変換インデックス情報は、パージングされる必要がない。

【0295】

抽出されたパターン情報が、一実施形態による階層的パターン情報、一実施形態によるグループパターン情報、一実施形態による稠密パターン情報などの多様なパターン情報のうち、いずれのパターン情報であるかということは、現在符号化単位の符号化深度、符号化モードなどによって決定されもする。いずれのパターン情報が符号化されるかということを示すパターン情報種類の情報が抽出され、パターン情報種類の情報に基づいて、現在符号化単位のパターン情報が読み取られもする。

【0296】

段階２８３０で、符号化モードについての情報に基づいて、少なくとも１つの符号化深度の符号化単位別に符号化されたビデオデータが復号化され、ビデオデータが復元されもする。

【0297】

一実施形態によるビデオ符号化及びビデオ復号化は、大容量データのビデオに係わる映像処理のために、大型データ単位の符号化及び復号化を行う。これにより、広く平坦な領域のデータ単位または空間的に動きのないピクチャのデータ単位については、パターン情報が稠密しなく発生できる。また、Ｐｉｘｃｅｌ値が複雑なピクチャについては、パターン情報が稠密に発生しうる。従って、ピクチャのパターン情報の稠密度によって、パターン情報の適用レベルを調節することによって、パターン情報の伝送効率が向上しうる。

【0298】

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、及び光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含んでもよい。

【0299】

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されもするということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならないのである。

【0300】

以下、本願により教示される手段を例示的に列挙する。

【0301】

（付記１）
ピクチャを符号化するためのデータ単位として、最大サイズの最大符号化単位より小さい符号化単位を含む少なくとも１つの最大符号化単位に、前記ピクチャを分割する段階と、
前記符号化単位に対して、前記最大符号化単位が、前記符号化単位に分割される回数を示す前記符号化単位の深度によって、少なくとも１つの深度別符号化単位ごとに、変換単位に基づいた変換及び符号化を行い、前記変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードを決定し、前記決定された符号化深度の符号化単位を含むツリー構造による符号化単位を決定する段階と、
前記最大符号化単位ごとに、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報、前記符号化モードについての情報及び符号化されたビデオデータを出力する段階と、を含み、
前記決定された符号化深度及び前記決定された符号化モードの符号化単位で、前記ピクチャの最小符号化誤差が生じることを特徴とする階層的データ単位のパターン情報を利用するビデオ符号化方法。

【0302】

（付記２）
前記パターン情報は、
前記最大符号化単位の前記少なくとも１つの符号化深度の符号化単位において、それぞれの符号化単位ごとに、それぞれの変換単位に基づいたテクスチャ関連情報の符号化いかんを示す符号化単位パターン情報を含み、
前記パターン情報は、前記最大符号化単位のテクスチャ関連情報の符号化いかんを示す最大符号化単位パターン情報をさらに含むことを特徴とする付記１に記載の階層的データ単位のパターン情報を利用するビデオ符号化方法。

【0303】

（付記３）
前記出力段階は、
前記それぞれの符号化単位ごとに、少なくとも１つの変換単位において、それぞれの変換単位ごとに、下位変換深度の変換単位のテクスチャ関連情報及び符号化単位パターン情報の符号化いかんを示す階層的符号化単位パターン情報をさらに出力することを特徴とする付記２に記載の階層的データ単位のパターン情報を利用するビデオ符号化方法。

【0304】

（付記４）
前記出力段階は、
前記最大符号化単位の前記少なくとも１つの符号化深度の符号化単位において、それぞれの符号化単位ごとに、カラー成分のうち少なくとも一つを含むカラー成分組み合わせのカラー成分別に、テクスチャ関連情報が符号化されるか否かを示すグループパターン情報を符号化する段階を含み、
前記グループパターン情報に基づいて、前記カラー成分組み合わせのそれぞれのカラー成分別パターン情報の符号化いかんを決定する段階をさらに含むことを特徴とする付記１に記載の階層的データ単位のパターン情報を利用するビデオ符号化方法。

【0305】

（付記５）
前記出力段階は、
所定条件によって、前記最大符号化単位、符号化深度の符号化単位及び変換深度の変換単位の階層的構造による階層的パターン情報、前記変換深度の変換単位だけのパターン情報を示す単一レベルパターン情報、及び前記変換深度の変換単位のパターン情報のビット値を反転した反転パターン情報のうちいずれか一つを符号化するということを決定する段階をさらに含むことを特徴とする付記１に記載の階層的データ単位のパターン情報を利用するビデオ符号化方法。

【0306】

（付記６）
符号化されたビデオに係わるビットストリームを受信してパージングする段階と、
前記パージングされたビットストリームから、ピクチャを符号化するための最大サイズのデータ単位の少なくとも１つの最大符号化単位別に、少なくとも１つの符号化深度の符号化単位に係わる符号化モードについての情報、並びに前記最大符号化単位別に、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報を抽出し、前記符号化モードについての情報及びパターン情報に基づいて、前記パージングされたビットストリームから、前記少なくとも１つの最大符号化単位別に符号化されたビデオデータを抽出する段階と、
前記符号化モードについての情報に基づいて、前記少なくとも１つの符号化深度の符号化単位別に符号化されたビデオデータを復号化する段階と、を含み、
前記ピクチャは、前記少なくとも１つの最大符号化単位から、前記深度別符号化単位に階層的に分割され、前記符号化単位は、前記符号化深度によって独立して分割されることを特徴とする階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0307】

（付記７）
前記抽出段階は、
前記パターン情報に基づいて、前記最大符号化単位の前記少なくとも１つの符号化深度の符号化単位において、それぞれの符号化単位ごとにそれぞれの変換単位に基づいたテクスチャ関連情報の抽出いかんを決定する段階を含むことを特徴とする付記６に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0308】

（付記８）
前記抽出段階は、
前記パージングされたビットストリームから階層的符号化単位パターン情報をさらに抽出し、前記階層的符号化単位パターン情報に基づいて、前記それぞれの符号化単位ごとに、少なくとも１つの変換単位において、それぞれの変換単位ごとにテクスチャ関連情報及び符号化単位パターン情報の抽出いかんを決定する段階をさらに含むことを特徴とする付記７に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0309】

（付記９）
前記抽出段階は、
前記パージングされたビットストリームから、最大符号化単位パターン情報をさらに抽出し、前記最大符号化単位パターン情報に基づいて、前記最大符号化単位のテクスチャ関連情報の抽出いかんを決定する段階をさらに含むことを特徴とする付記８に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0310】

（付記１０）
前記抽出段階は、
前記パージングされたビットストリームから、前記最大符号化単位の前記符号化深度の符号化単位ごとに、カラー成分のうち少なくとも一つを含むカラー成分組み合わせのカラー成分別に、テクスチャ関連情報が符号化されるか否かを示すグループパターン情報を抽出する段階を含み、
前記グループパターン情報に基づいて、前記カラー成分組み合わせのそれぞれのカラー成分別パターン情報の抽出いかんを決定する段階をさらに含むことを特徴とする付記６に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0311】

（付記１１）
前記抽出段階は、
前記抽出されたパターン情報が、所定条件によって、前記最大符号化単位、符号化深度の符号化単位及び変換深度の変換単位の階層的構造による階層的パターン情報、前記変換深度の変換単位だけのパターン情報を示す単一レベルパターン情報、及び前記変換深度の変換単位のパターン情報のビット値を反転した反転パターン情報のうちいずれか一つであるかを決定する段階をさらに含むことを特徴とする付記６に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法。

【0312】

（付記１２）
ピクチャを符号化するためのデータ単位として、最大サイズの最大符号化単位より小さい符号化単位を含む少なくとも１つの最大符号化単位に、前記ピクチャを分割する最大符号化単位分割部と、
前記符号化単位に対して、前記最大符号化単位が、前記符号化単位に分割される回数を示す前記符号化単位の深度によって、少なくとも１つの深度別符号化単位ごとに、変換単位に基づいた変換及び符号化を行い、前記変換単位のサイズについての情報を含む符号化深度の符号化単位に係わる符号化モードを決定し、前記決定された符号化深度の符号化単位を含むツリー構造による符号化単位を決定する符号化単位及び符号化モード決定部と、
前記最大符号化単位ごとに、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報、前記符号化モードについての情報及び符号化されたビデオデータを出力する出力部と、を含み、
前記決定された符号化深度及び前記決定された符号化モードの符号化単位で、前記ピクチャの最小符号化誤差が生じることを特徴とする階層的データ単位のパターン情報を利用するビデオ符号化装置。

【0313】

（付記１３）
符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、
前記パージングされたビットストリームから、最大符号化単位別に、少なくとも１つの符号化深度の符号化単位に係わる符号化モードについての情報、及び前記最大符号化単位別に、前記符号化モードによる最大符号化単位、符号化単位及び変換単位の階層的構造に基づいて、テクスチャ関連情報の符号化いかんを示すパターン情報を抽出し、前記符号化モードについての情報及びパターン情報に基づいて、前記パージングされたビットストリームから、前記最大符号化単位別に符号化されたビデオデータを抽出するデータ抽出部と、
前記符号化モードについての情報に基づいて、前記少なくとも１つの符号化深度の符号化単位別に符号化されたビデオデータを復号化する復号化部と、を含み、
前記ピクチャは、前記少なくとも１つの最大符号化単位から、前記深度別符号化単位に階層的に分割され、前記符号化単位は、前記符号化深度によって独立して分割されることを特徴とする階層的データ単位のパターン情報を利用するビデオ復号化装置。

【0314】

（付記１４）
付記１に記載の階層的データ単位のパターン情報を利用するビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【0315】

（付記１５）
付記６に記載の階層的データ単位のパターン情報を利用するビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【先行技術文献】

【特許文献】

【0316】

【特許文献1】特開２００８−１７２５９９号公報

【非特許文献】

【0317】

【非特許文献1】Jaeil Kim,et.al.,Enlarging MB size for high fidelity video coding beyond HD,ITU-Telecommunications Standardization Sector STUDY GROUP 16 Question 6 ideo Coding Experts Group VCEG-AF21,ST,２００８年１０月

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20A】

【図20B】

【図21A】

【図21B】

【図21C】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】