特許 5956013 ビデオ復号化方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5956013

(24)【登録日】2016年6月24日

(45)【発行日】2016年7月20日

(54)【発明の名称】ビデオ復号化方法及びその装置

(51)【国際特許分類】

   H04N 19/119 20140101AFI20160707BHJP

   H04N 19/122 20140101ALI20160707BHJP

   H04N 19/159 20140101ALI20160707BHJP

   H04N 19/176 20140101ALI20160707BHJP

   H04N 19/70 20140101ALI20160707BHJP

【ＦＩ】

   H04N19/119

   H04N19/122

   H04N19/159

   H04N19/176

   H04N19/70

【請求項の数】5

【全頁数】44

(21)【出願番号】特願2015-84543(P2015-84543)

(22)【出願日】2015年4月16日

(62)【分割の表示】特願2013-524791(P2013-524791)の分割

【原出願日】2011年8月17日

(65)【公開番号】特開2015-164338(P2015-164338A)

(43)【公開日】2015年9月10日

【審査請求日】2015年4月16日

(31)【優先権主張番号】61/374,348

(32)【優先日】2010年8月17日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リ，タミー

(72)【発明者】

【氏名】ハン，ウ−ジン

【審査官】 畑中 高行

(56)【参考文献】

【文献】 特開２０１５−１４９７７８（ＪＰ，Ａ）

【文献】 国際公開第２０１０／００２２１４（ＷＯ，Ａ２）

【文献】 特表２００８−５３０９２７（ＪＰ，Ａ）

【文献】 国際公開第２００９／０９０８８４（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／０８７１５７（ＷＯ，Ａ１）

【文献】 特表２０００−５１１３６６（ＪＰ，Ａ）

【文献】 特開平０８−１１１８６９（ＪＰ，Ａ）

【文献】 国際公開第２００９／０５１７１９（ＷＯ，Ａ２）

【文献】 国際公開第２０１０／０３９７３３（ＷＯ，Ａ２）

【文献】 Frank Bossen，Common test conditions and software reference configurations，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, Document: JCTVC-B300，ITU-T，２０１０年 ７月２８日

【文献】 Bumshik Lee et al.，Hierarchical Variable-sized Block Transforms，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeing: Geneva, CH, Document: JCTVC-B050，ITU-T，２０１０年 ７月１７日

【文献】 Bumshik Lee et al.，Variable Block Size Transforms with Higher Order Kernels for (Ultra) High Definition Video Coding，Proc. of SPIE-IS&T Electronic Imaging, Visual Information Prosessing and Communication，SPIE，２０１０年 １月，Vol.7543，p.754305-1 - 754305-9

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

インターモードのための最多分割情報及び符号化単位の予測モードに対する情報をビットストリームから獲得する段階と、
前記予測モードに対する情報が、前記符号化単位の予測がインターモードによって行われることを示すと、前記インターモードのための最多分割情報を用いて前記符号化単位から決定される変換単位の最多分割レベルを決定する段階と、
現在変換単位の現在分割レベルが前記変換単位の最多分割レベルより小さければ、前記ビットストリームから前記現在変換単位に対するサブ分割情報を獲得する段階と、
前記サブ分割情報が前記現在変換単位の分割を示すと、前記現在変換単位を次の分割レベルの変換単位で分割する段階と、
前記現在変換単位に対して逆変換を行う段階と、を含み、
前記次の分割レベルは前記現在分割レベルより大きく、
前記インターモードのための最多分割情報を用いて決定された前記変換単位の最多分割レベルは、イントラモードのための最多分割情報と別個に決定されることを特徴とするビデオ復号化方法。

【請求項2】

前記最多分割情報は、変換単位を決定するために前記符号化単位が分割されうる最大回数を示すことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項3】

前記インターモードのための最多分割情報は、ビデオのピクチャシーケンス、ピクチャ、スライス及び符号化のためのデータ単位のうち一つのデータレベルに対するパラメータとして抽出されることを特徴とする請求項１に記載のビデオ復号化方法。

【請求項4】

前記変換単位の最多分割レベルに基づき前記符号化単位から決定される変換単位の最小サイズは、ビットストリームから獲得される変換単位の最小サイズに対する情報による変換単位の最小サイズ及び前記符号化単位が前記最多分割レベルまで分割され決定された最多分割レベルの変換単位のサイズより小さくないことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項5】

インターモードのための最多分割情報、符号化単位の予測モードに対する情報及び変換単位のサブ分割情報をビットストリームから獲得する抽出部と、
前記予測モードに対する情報が、前記符号化単位の予測がインターモードによって行われることを示すと、前記インターモードのための最多分割情報を用いて前記符号化単位から決定される変換単位の最多分割レベルを決定する復号化部を備え、
前記抽出部は、現在変換単位の現在分割レベルが前記変換単位の最多分割レベルより小さければ、前記ビットストリームから前記現在変換単位に対するサブ分割情報を獲得し、
前記復号化部は、前記サブ分割情報が前記現在変換単位の分割を示すと、前記現在変換単位を次の分割レベルの変換単位で分割し、
前記復号化部は、前記現在変換単位に対して逆変換を行い、
前記次の分割レベルは前記現在分割レベルより大きく、
前記インターモードのための最多分割情報を用いて決定された前記変換単位の最多分割レベルは、イントラモードのための最多分割情報と別個に決定されることを特徴とするビデオ復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ復号化方法及びその装置に関する。

【背景技術】

【0002】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式に従って符号化されている。また、既存のビデオコーデックは、マクロブロックを同一サイズのブロックを利用して変換及び逆変換を行ってビデオデータを符号化／復号化する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、可変的階層構造のデータ単位を利用した変換及び逆変換を行うことにより、ビデオを符号化したり復号化するものである。

【課題を解決するための手段】

【0004】

本発明の一実施形態によって、ビデオを復号化する方法は、インターモードのための最多分割情報及び符号化単位の予測モードに対する情報をビットストリームから獲得する段階と、前記予測モードに対する情報が、前記符号化単位の予測がインターモードによって行われることを示すと、前記インターモードのための最多分割情報を用いて前記符号化単位から決定される変換単位の最多分割レベルを決定する段階と、現在変換単位の現在分割レベルが前記変換単位の最多分割レベルより小さければ、前記ビットストリームから前記現在変換単位に対するサブ分割情報を獲得する段階と、前記サブ分割情報が前記現在変換単位の分割を示すと、前記現在変換単位を次の分割レベルの変換単位で分割する段階と、前記現在変換単位に対して逆変換を行う段階と、を含み、前記次の分割レベルは前記現在分割レベルより大きく、前記インターモードのための最多分割情報を用いて決定された前記変換単位の最多分割レベルは、イントラモードのための最多分割情報と別個に決定されることを特徴とする。

【発明の効果】

【0005】

本発明によれば、ビデオ符号化及びビデオ復号化の過程で、ツリー構造による多様な大きさ及び形態の変換単位を利用して、変換及び逆変換が行われるので、映像特性を考慮して、ビデオが効率的に符号化／復号化されるのである。

【図面の簡単な説明】

【0006】

【図1】一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化装置のブロック図である。

【図2】一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化装置のブロック図である。

【図3】一実施形態によるツリー構造による変換単位の階層モデルを図示する図面である。

【図4】一実施形態による可変的ツリー構造の変換単位の階層モデルを図示する図面である。

【図5】多様な実施形態による基礎変換単位を図示する図面である。

【図6】多様な実施形態による基礎変換単位を図示する図面である。

【図7】多様な実施形態による基礎変換単位を図示する図面である。

【図8】多様な実施形態による基礎変換単位を図示する図面である。

【図9】多様な実施形態による可変的ツリー構造の変換単位を図示する図面である。

【図10】多様な実施形態による可変的ツリー構造の変換単位を図示する図面である。

【図11】一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化方法のフローチャートである。

【図12】一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化方法のフローチャートである。

【図13】本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化装置のブロック図である。

【図14】本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ復号化装置のブロック図である。

【図15】本発明の一実施形態による符号化単位の概念を図示する図面である。

【図16】本発明の一実施形態による符号化単位を基にした映像符号化部のブロック図である。

【図17】本発明の一実施形態による符号化単位を基にした映像復号化部のブロック図である。

【図18】本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。

【図19】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。

【図20】本発明の一実施形態によって、深度別符号化情報を図示する図面である。

【図21】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図22】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図23】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図24】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図25】表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図26】本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化方法のフローチャートである。

【図27】本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ復号化方法のフローチャートである。

【発明を実施するための形態】

【0007】

本発明の一実施形態によって、ビデオを符号化する方法は、前記ビデオにおいて現在領域を符号化するために、前記現在領域に係わる基礎変換単位から階層的に分割される変換単位において、変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、前記現在領域について変換を行い、前記可変的ツリー構造の変換単位のうち、前記現在領域に係わる変換単位を決定する段階と、前記決定された変換単位を基にした変換を含んだ符号化によって生成された前記現在領域の符号化データ、並びに前記現在領域の符号化で決定された符号化モードについての情報、前記ビデオに係わる変換単位の最大サイズについての情報、及び該最小サイズについての情報を含む変換単位階層構造情報を出力する段階と、を含む。

【0008】

本発明の一実施形態によって、ビデオを復号化する方法は、前記ビデオが符号化されたデータを含むビットストリームを受信する段階と、前記ビットストリームをパージングし、前記ビットストリームから、現在領域の符号化データ、並びに前記現在領域の符号化で決定された符号化モードについての情報、前記ビデオに係わる変換単位の最大サイズについての情報、及び該最小サイズについての情報を含む変換単位階層構造情報を抽出する段階と、前記現在領域に係わる基礎変換単位から階層的に分割される変換単位において、前記変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、前記現在領域について逆変換を行い、前記現在領域の符号化されたデータを復号化し、前記ビデオを復元する段階と、を含む。

【0009】

一実施形態による前記変換単位階層構造情報は、前記変換単位の最多分割レベルを示す最多分割情報をさらに含んでもよい。一実施形態による現在領域に係わる基礎変換単位の大きさは、前記ビデオに係わる変換単位の最大サイズより小さいか、あるいは同じである。

【0010】

一実施形態による変換単位が一回分割され、次の下位レベルの変換単位が生成され、所定変換単位のレベルは、前記基礎変換単位が段階別に分割され、前記所定変換単位が生成されるまでの分割回数を示し、前記基礎変換単位は、前記現在領域に係わる利用可能な最大サイズの変換単位であり、最上位階層の変換単位であってもよい。

【0011】

一実施形態による現在領域について、前記変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位は、前記基礎変換単位を含み、前記基礎変換単位から分割され始め、前記最多分割レベルまで段階的に分割されて生成される階層別変換単位を含んでもよい。

【0012】

一実施形態による前記現在領域に係わる変換単位の最小サイズは、前記ビデオに係わる変換単位の最小サイズと、前記基礎変換単位が、前記最多分割レベルまで分割された最下位レベルの変換単位の大きさとのうち、さらに大きいものに決定されてもよい。

【0013】

一実施形態による前記変換単位の最多分割レベルは、前記ビデオに係わる変換単位の最大サイズ及び最小サイズに相応する最大変換単位から最小変換単位までのレベルの個数より小さいか、あるいは同じである。一実施形態による前記基礎変換単位の大きさは、前記現在領域に係わる符号化中に利用される予測モード及びパーティション・サイズのうち少なくとも一つに基づいて決定されてもよい。

【0014】

一実施形態による前記現在領域に係わる変換単位の最多分割レベルは、前記ビデオのピクチャシーケンス、ピクチャ、スライス及び符号化のためのデータ単位のうち１つのデータレベルのデータグループごとに決定され、前記最多分割レベルが決定されるデータレベルに係わるパラメータとして、前記変換単位の最多分割情報が符号化されるのである。一実施形態による前記現在領域に係わる変換単位の最多分割レベルは、前記現在領域に係わる符号化遂行中に利用される予測モードごとに別途に決定されてもよい。

【0015】

一実施形態による前記現在領域に係わる変換単位の最多分割レベルを、前記現在領域に係わる符号化遂行中に利用されるスライスタイプごとに別途に決定されてもよい。一実施形態による前記現在領域に係わる前記基礎変換単位の大きさは、一定である。一実施形態による前記現在領域に係わる基礎変換単位は、前記現在領域の予測符号化のためのデータ単位であるパーティション間の境界にまたがらないように、前記パーティション中に含まれる形態のデータ単位に決定されてもよい。

【0016】

一実施形態によって、前記現在領域に係わる基礎変換単位が分割された下位レベルの変換単位は、前記現在領域の予測符号化のためのデータ単位であるパーティションの境界にまたがらないように、前記パーティション中に含まれる形態のデータ単位に決定されてもよい。

【0017】

本発明の一実施形態によるビデオ符号化装置は、前記ビデオにおいて現在領域を符号化するために、前記現在領域に係わる基礎変換単位から階層的に分割される変換単位において、変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、前記現在領域について変換を行い、前記可変的ツリー構造の変換単位のうち、前記現在領域に係わる変換単位を決定する変換単位決定部；及び前記決定された変換単位を基にした変換を含んだ符号化によって生成された前記現在領域の符号化データ、並びに前記現在領域の符号化で決定された符号化モードについての情報、前記ビデオに係わる変換単位の最大サイズについての情報、及び該最小サイズについての情報を含む変換単位階層構造情報を出力する出力部；を含む。

【0018】

本発明の一実施形態によるビデオ復号化装置は、前記ビデオが符号化されたデータを含むビットストリームを受信する受信部；前記ビットストリームをパージングし、前記ビットストリームから、現在領域の符号化データ、並びに前記現在領域の符号化で決定された符号化モードについての情報、前記ビデオに係わる変換単位の最大サイズについての情報、及び該最小サイズについての情報を含む変換単位階層構造情報を抽出する抽出部；及び前記現在領域に係わる基礎変換単位から階層的に分割される変換単位において、前記変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、前記現在領域について逆変換を行い、前記現在領域の符号化されたデータを復号化し、前記ビデオを復元する復号化部；を含む。

【0019】

本発明は、それぞれの実施形態によるビデオ符号化方法を電算的に具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体を開示する。

【0020】

本発明は、それぞれの実施形態によるビデオ復号化方法を電算的に具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体を開示する。

【0021】

以下、本明細書に記載した本発明の多様な実施形態で、「映像」は、静止映像だけではなく、ビデオのような動画を含んで包括的に示すことができる。

【0022】

映像と係わるデータについて各種動作が行われるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて、同一の動作が行われるのである。以下、本明細書で、所定基準によって形成されるデータグループを、「データ単位」とする。以下、本明細書で、「データ単位」ごとになされる動作は、データ単位に含まれたデータを利用して、当該動作が行われるということを意味する。

【0023】

以下、図１ないし図１２を参照して、一実施形態によって、可変的ツリー構造の変換単位を利用するビデオの符号化及び復号化を開示する。以下、図１３ないし図２７を参照して、本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオの符号化及び復号化を開示する。

【0024】

以下、図１ないし図１２を参照して、一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。

【0025】

図１は、一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化装置のブロック図を図示している。

【0026】

一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化装置１０は、変換単位決定部１１及び出力部１３を含む。以下、説明の便宜のために、一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化装置１０を、「ビデオ符号化装置１０」と縮約して呼ぶ。ビデオ符号化装置１０の変換単位決定部１１及び出力部１３の動作は、ビデオ・エンコーディング・プロセッサ、中央プロセッサ、グラフィック・プロセッサなどによって有機的に制御される。

【0027】

一実施形態によるビデオ符号化装置１０は、入力されたビデオにおいて現在ピクチャを符号化するため、現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。

【0028】

例えば、現在ピクチャは、空間領域（spatial domain）の画素から構成される。現在ピクチャにおいて、空間的に隣接する画素を共に符号化するために、所定範囲内の隣接画素が１つのグループをなすように、現在ピクチャは、所定サイズの画素グループに分割される。分割された所定サイズの画素グループの画素に対する一連の符号化動作によって、現在ピクチャに対する符号化が行われる。

【0029】

ピクチャの符号化処理対象になる初期データが、空間領域の画素値であるので、それぞれの所定サイズの画素グループが、符号化処理対象になるデータ単位として利用される。また、空間領域の画素グループの画素値について、ビデオ符号化のための変換を行い、変換領域（transform domain）の変換係数が生成されるが、変換係数も、空間領域の画素グループと同一サイズの係数グループを維持する。従って、変換領域の変換係数の係数グループも、ピクチャの符号化のためのデータ単位として利用される。

【0030】

従って、空間領域及び変換領域をまとめて、所定サイズのデータグループが符号化のためのデータ単位として利用される。このとき、データ単位の大きさは、データ単位に含まれるデータの個数に定義される。例えば、空間領域の画素の個数、または変換領域の変換係数の個数が、データ単位の大きさを示すことができる。

【0031】

以下、「現在領域（region）」は、ビデオにおいて、現在符号化処理対象であるデータ単位、スライス、ピクチャ、ピクチャシーケンスのうちいずれか１つのデータレベルのデータグループを示すことができる。

【0032】

一実施形態によるビデオ符号化装置１０は、領域別に、インター予測、イントラ予測を含む予測符号化、変換、量子化及びエントロピ符号化を行うことにより、現在ピクチャの符号化を行うことができる。一実施形態による変換単位決定部１１は、現在ピクチャにおいて、現在領域の変換を行うためのデータ単位である変換単位を決定する。一実施形態による変換単位は、現在領域に含まれるように、現在領域より小さいか、あるいは同じ大きさのデータ単位に決定されてもよい。

【0033】

例えば、変換単位決定部１１は、現在領域の高さ及び幅を半分にして変換単位を生成することができる。また、変換単位決定部１１は、現在領域の高さ及び幅のうち少なくとも一つを非対称的に分割し、変換単位を生成することができる。変換単位決定部１１は、現在領域の高さ及び幅のうち少なくとも一つを任意的な比率で分割し、変換単位を生成することもできる。変換単位は、現在領域に含まれた多角形のデータ単位であってもよい。

【0034】

一実施形態による変換単位決定部１１は、変換単位の高さ及び幅のうち少なくとも一つをさらに分割し、下位レベルの変換単位を生成することができる。一実施形態による変換単位決定部１１は、現在領域の変換のために、ツリー構造による変換単位を決定することができる。一実施形態によるツリー構造の変換単位は、現在領域内の変換単位中に、変換結果を出力するように決定された最終変換単位を含む。

【0035】

一実施形態による変換単位決定部１１は、ツリー構造による変換単位を決定するために、現在領域内の変換単位において、所定変換単位の高さ及び幅のうち少なくとも一つを反復的に分割し、下位レベルの変換単位を生成することができる。

【0036】

また、一実施形態による変換単位決定部１１は、それぞれの変換単位を下位レベルの変換単位に分割するか否かは、上位レベルの変換単位に分割されて生成された同一のレベルの他の変換単位と独立して決定することができる。また、一実施形態によって、「所定レベルの変換単位が下位レベルの変換単位に分割」される動作は、所定レベルの変換単位のうち、少なくとも一つが分割される動作を含んでもよい。例えば、現在領域の最上位変換単位から所定レベルまで、分割レベルごとに全ての変換単位が分割されたり、あるいは分割が中断されもする。

【0037】

他の例として、所定レベルから下位レベルに変換単位が分割されるとき、所定レベルの変換単位ごとに分割されるか否かが別途に決定され、下位レベルの変換単位の大きさが必ずしも一定していない。

【0038】

一実施形態による変換単位決定部１１は、現在領域に係わるインター予測またはイントラ予測を経て残差データを生成し、変換単位決定部１１によって決定された変換単位に基づいて、残差データに係わる変換を行うことにより、現在領域を符号化する。すなわち、現在領域の予測のためのパーティション別の残差データが、変換単位決定部１１によって決定された変換単位に再分割され、変換単位別に残差データについて変換が行われる。

【0039】

一実施形態によるビデオ符号化のための「変換」は、ビデオの空間領域のデータを変換領域のデータに変換するためのデータ処理技法を指す。一実施形態による変換単位決定部１１がビデオ符号化のために行う変換は、周波数変換、直交変換、整数変換などを含んでもよい。

【0040】

一実施形態による変換単位決定部１１は、現在領域に含まれる階層的構造による全てのレベルの変換単位に対して、それぞれのレベルの変換単位を利用して変換を反復的に行い、レベル別変換単位ごとに変換による誤差を比較し、誤差が最小化されるレベルの変換単位を選択することができる。最小誤差が生じる変換係数を生成するレベルの変換単位が、変換結果を出力するレベルである変換深度の変換単位に決定されてもよい。

【0041】

これにより、一実施形態による変換単位決定部１１は、変換結果を出力するように決定された変換単位が含まれたツリー構造による変換単位を決定することができる。

【0042】

一実施形態によって、ビデオに係わる変換単位の最大サイズ及び最小サイズがあらかじめ設定される。一実施形態による変換単位決定部１１は、現在ピクチャの所定領域別に、ビデオに係わる変換単位の最大サイズより小さいか、あるいは同じ基礎変換単位を決定することができる。一実施形態による基礎変換単位は、現在領域で利用可能な最大サイズの変換単位であり、最上位階層の変換単位である。

【0043】

一実施形態による変換単位決定部１１は、現在領域について変換単位のレベルの個数を制限することができる。変換単位が一回分割され、次の下位レベルの変換単位が生成され、所定変換単位のレベルは、基礎変換単位が段階別に分割されて所定変換単位が生成されるまでの分割回数を示すことができる。従って、一実施形態による現在領域に係わる変換単位の最多分割レベルは、現在領域の基礎変換単位からの最下位レベルの変換単位までの分割回数である最多分割回数と関連する。

【0044】

現在領域について、可変的に設定可能な基礎変換単位、及び変換単位の最多分割レベルに基づいて、変換単位の階層の個数及び階層構造が変更される。これにより、一実施形態による変換単位決定部１１は、変換単位の最多分割レベルに基づいて可変的ツリー構造の変換単位を利用することができる。一実施形態による可変的ツリー構造の変換単位は、基礎変換単位を含み、基礎変換単位から分割され始め、変換単位の最多分割レベルまで段階的に分割されて生成されるレベル別変換単位を含んでもよい。

【0045】

一実施形態による変換単位決定部１１は、現在領域に係わる基礎変換単位から階層的に分割される変換単位において、変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、現在領域について変換を行うことができる。一実施形態による変換単位決定部１１は、可変的ツリー構造の変換単位において、現在領域の変換係数を出力するのに利用される変換単位を最終的に決定することができる。

【0046】

一実施形態によって、現在領域に係わる変換単位の最小サイズは、ビデオに係わる変換単位の最小サイズと、基礎変換単位が変換単位の最多分割レベルまで分割された最下位レベルの変換単位の大きさとのうち、さらに大きい方に決定されてもよい。

【0047】

一実施形態によって、変換単位の最多分割回数は、ビデオに係わる変換単位の最大サイズ及び最小サイズに相応する最大変換単位から最小変換単位までの分割回数より少ないか、あるいは同じである。従って、変換単位の最多分割レベルは、ビデオに係わる変換単位の最大サイズ及び最小サイズに相応する最大変換単位から最小変換単位までのレベルの個数より小さいか、あるいは同じである。

【0048】

現在領域に係わる基礎変換単位の大きさは、一定に決定されてもよい。また、領域別に領域特性によって、異なる大きさの基礎変換単位が設定されもする。例えば、基礎変換単位の大きさは、現在領域に係わる符号化中に利用される予測モード及びパーティション・サイズのうち、少なくとも一つに基づいて決定されてもよい。

【0049】

一実施形態による変換単位の最多分割レベルは、ビデオのピクチャシーケンス、ピクチャ、スライス、符号化のためのデータ単位などのデータレベルのうち所定レベルのデートグループごとに設定されもする。すなわち、例えば、現在ピクチャシーケンスに係わる最多分割レベルが設定されていたり、あるいは、ピクチャ別に、スライス別にまたはデータ単位別に、最多分割レベルが設定される。他の例として、変換単位の最多分割レベルは、符号化／復号化システム間に、暗黙的にすでに設定されていることもある。

【0050】

一実施形態による現在領域に係わる変換単位の最多分割レベルは、現在領域に係わる符号化遂行中に利用される予測モードごとに、別途に決定されてもよい。一実施形態による現在領域に係わる変換単位の最多分割レベルは、現在領域に係わる符号化遂行中に利用されるスライスタイプごとに別途に決定されてもよい。

【0051】

一実施形態による現在領域に係わる基礎変換単位は、現在領域の予測符号化のためのデータ単位であるパーティション間の境界にまたがらないように、パーティション中に含まれる形態のデータ単位に決定されてもよい。また、一実施形態による現在領域に係わる基礎変換単位が分割された下位レベルの変換単位は、現在領域の予測符号化のためのデータ単位であるパーティションの境界にまたがらないように、パーティション中に含まれる形態のデータ単位に決定されてもよい。

【0052】

基礎変換単位及び下位レベルの変換単位の決定例は、図５ないし１０を参照して後述する。

【0053】

一実施形態による出力部１３は、現在領域の符号化されたデータ、符号化モードについての情報及び変換単位についての各種情報を含むビットストリームを出力することができる。出力部１３は、変換単位決定部１１によって決定された変換単位を基にした変換、及び量子化、インター予測、インター予測、エントロピ符号化などの各種符号化動作を経て生成された、現在領域の符号化されたデータを出力することができる。

【0054】

出力部１３は、変換単位決定部１１によって決定された変換単位を基にした変換や、量子化、インター予測、イントラ予測、エントロピ符号化などの各種符号化動作で利用された符号化方式などについての情報を含む符号化モードについての情報を出力することができる。

【0055】

一実施形態による出力部１３は、ビデオに係わる変換単位の階層構造を示す変換単位階層構造情報を出力することができる。一実施形態による変換単位階層構造情報は、ビデオに係わる変換単位の最大サイズについての情報、及び最小サイズについての情報、変換インデックス情報を含んでもよい。

【0056】

一実施形態による変換インデックス情報は、現在領域を変換するのに利用された変換単位の構造についての情報を示すことができる。例えば、一実施形態による変換インデックス情報は、現在領域から最下位レベルの変換単位まで分割した回数、変換単位の大きさ及び形態についての情報を含んでもよい。一実施形態による変換インデックス情報は、レベルごとに上位レベルの変換単位が同一サイズの変換単位に分割される場合、現在領域から最下位レベルまでの分割回数を示すことができる。

【0057】

一実施形態による出力部１３は、ビデオに係わる変換単位の最大サイズについての情報及び最小サイズについての情報を出力することができる。一実施形態によって、ビデオに係わる変換単位の最大サイズについての情報及び最小サイズについての情報は、ビデオストリームのシーケンス・パラメータ・セット、ピクチャ・パラメータ・セットなどに含まれて出力される。

【0058】

一実施形態による変換単位階層構造情報は、変換単位の最多分割レベルを示す変換単位最多分割情報を含んでもよい。従って、出力部１３は、変換単位最多分割情報を符号化して出力することができる。一実施形態による変換単位最多分割情報は、シーケンス・パラメータ・セット、ピクチャ・パラメータ・セットなどに含まれて出力されたり、あるいは、スライス、所定サイズの領域別に設定されもする。

【0059】

他の例として、変換単位の最多分割レベルが、符号化／復号化システム間に暗黙的に既設定されている場合、変換単位最多分割情報は、符号化されて出力される必要がない。

【0060】

一実施形態による出力部１３は、現在領域に係わる可変的ツリー構造の変換単位ごとに、次の下位レベルの変換単位に分割されるか否かを示す変換単位サブ分割情報を決定して出力することができる。一実施形態による出力部１３は、現在領域について決定された変換単位において、現在領域について許容される最小サイズの変換単位については、変換単位サブ分割情報を省略することができる。

【0061】

一実施形態による出力部１３は、現在領域について決定された変換単位ごとに、下位レベルの変換単位中に、０ではない係数を含む変換単位の存在いかんを示す階層的変換単位パターン情報を決定して出力することができる。

【0062】

図２は、一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化装置のブロック図を図示している。

【0063】

一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化装置２０は、受信部２１、抽出部２３及び復号化部２５を含む。以下、説明の便宜のために、一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化装置２０を、「ビデオ復号化装置２０」と縮約して呼ぶ。ビデオ復号化装置２０の受信部２１、抽出部２３及び復号化部２５の動作は、ビデオデコーディング・プロセッサ、グラフィック・プロセッサ、中央プロセッサなどによって有機的に制御される。

【0064】

ビデオ復号化装置２０は、ビットストリームから映像を復元するために、エントロピ復号化、逆量子化、逆変換及びインター予測／補償、イントラ予測／補償を含む動作を介して、ビットストリームの符号化された映像データを復号化することができる。

【0065】

一実施形態による受信部２１は、符号化されたビデオに係わるビットストリームを受信してパージングする。一実施形態による抽出部２３は、受信部２１によってパージングされたビットストリームから、現在ピクチャの領域別に符号化されたデータ、符号化モードについての情報及び変換単位に係わる各種情報を抽出する。

【0066】

抽出部２３は、現在領域の符号化されたデータ、符号化モードについての情報及び変換単位に係わる各種情報を、復号化部２５に伝達することができる。復号化部２５は、符号化モードについての情報に基づいて決定された各種符号化方式に従って、符号化されたデータについて、エントロピ復号化、逆量子化、逆変換、インター予測／補償、イントラ予測／補償などの各種復号化動作を遂行することにより、現在領域の画素値を復元し、現在ピクチャを復元することができる。

【0067】

抽出部２３は、ビットストリームから、変換単位の最大サイズ情報及び最小サイズ情報、変換インデックス情報などの変換単位の階層構造と係わる変換単位階層構造情報を抽出することができる。

【0068】

一実施形態による復号化部２５は、抽出部２３によって抽出された変換単位と係わる各種情報に基づいて、現在領域に係わる逆変換のために必要な変換単位を決定し、変換単位に基づいて、現在領域の逆変換を行うことができる。一実施形態による復号化部２５がビデオ復号化のために行う逆変換は、変換領域のデータを空間領域のデータに変換するプロセスを指す。一実施形態による復号化部２５の逆変換は、周波数逆変換、直交逆変換、整数逆変換などを含んでもよい。

【0069】

変換単位、基礎変換単位及び変換単位の階層構造の概念は、図１及び一実施形態によるビデオ符号化装置１０を参照して説明した通りである。すなわち、一実施形態による変換単位は、現在領域または上位レベルの変換単位の高さ及び幅のうち、少なくとも一つが任意の比率で分割された形態である。

【0070】

特に、一実施形態による可変的ツリー構造の変換単位は、現在領域について決定された変換単位の最多分割レベルまたは最多分割回数に基づいて決定されてもよい。すなわち可変的ツリー構造の変換単位は、基礎変換単位を含み、基礎変換単位から現在ビデオで許容される最多分割レベルまでの分割された下位レベルの変換単位を含んでもよい。

【0071】

抽出部２３は、変換単位階層構造情報のうち、ビデオに係わる変換単位の最大サイズについての情報及び最小サイズについての情報を抽出することができる。一実施形態によって、ビデオストリームのシーケンス・パラメータ・セット、ピクチャ・パラメータ・セットなどから、ビデオに係わる変換単位の最大サイズについての情報及び最小サイズについての情報が抽出される。

【0072】

抽出部２３は、変換単位階層構造情報において、変換単位最多分割情報を抽出することもできる。一実施形態による変換単位最多分割情報は、シーケンス・パラメータ・セット、ピクチャ・パラメータ・セットなどから抽出されたり、あるいは、スライス、領域別に設定されたパラメータから抽出されもする。

【0073】

他の例として、変換単位の最多分割レベルが符号化／復号化システム間に暗黙的に既設定されている場合、変換単位最多分割情報は、別途に抽出される必要はない。

【0074】

復号化部２５は、変換単位最多分割情報から、現在領域の許容される基礎変換単位から最下位レベルの変換単位までのレベルの個数または分割回数を分析することができる。復号化部２５は、ビデオのピクチャシーケンスについて設定された変換単位の最多分割レベルを読み取ることができる。または、変換単位の最多分割レベルは、ピクチャ別、スライス別またはデータ単位別に、多様なデータレベルによって判読されもする。

【0075】

さらに他の例として、符号化／復号化システム間に暗黙的に既設定された変換単位の最多分割レベルに基づいて、可変的ツリー構造の変換単位が決定されもする。

【0076】

復号化部２５は、符号化モードごとに個別的に設定された、現在領域で許容可能なレベルの個数または分割回数を分析することができる。例えば、復号化部２５は、現在領域に係わる符号化遂行中に利用される予測モードごとに、別個に設定された変換単位の最多分割レベルを読み取ることもできる。例えば、復号化部２５は、現在領域に係わる符号化遂行中に利用されるスライスタイプごとに、別個に設定された変換単位の最多分割レベルを読み取ることもできる。

【0077】

抽出部２３は、変換単位階層構造情報のうち、一実施形態による変換インデックス情報を抽出することができる。復号化部２５は、変換インデックス情報から、現在領域を変換するのに利用された変換単位の構造を分析することもできる。

【0078】

例えば、一実施形態による変換インデックス情報は、現在領域路から最下位レベルの変換単位まで分割した回数、変換単位の大きさ及び形態が分析される。変換インデックス情報に基づいて、レベルごとに上位レベルの変換単位が同一サイズの変換単位に分割される場合、現在領域から最下位レベルまでの分割回数が判読されもする。

【0079】

抽出部２３は、現在領域について決定された変換単位ごとに、変換単位サブ分割情報を抽出することができる。復号化部２５は、変換単位サブ分割情報に基づいて、現在階層の変換単位が、次の下位レベルの変換単位に分割されるか否かを決定することができる。所定階層の変換単位について、変換単位サブ分割情報がそれ以上抽出されないのであれば、所定階層の変換単位が、現在領域について許容される最小サイズの変換単位であると分析される。抽出部２３は、現在領域について決定された変換単位ごとに、階層的変換単位パターン情報を抽出することができる。復号化部２５は、階層的変換単位パターン情報から、現在変換単位の下位レベルの変換単位の中に、０ではない係数を含む変換単位が存在するか否かを分析することができる。

【0080】

一実施形態による変換単位階層構造情報に基づいて、現在領域の最上位変換単位から所定分割レベルまで、レベルごとに決定された大きさの変換単位で、均等に分割された階層構造の変換単位において、逆変換に必要な変換単位が分析される。他の例として、上位レベルの変換単位から分割される下位レベルの変換単位ごとに分割されるか否かが別途に決定される場合には、変換単位階層構造情報に基づいて、逆変換に必要であると決定された変換レベルの変換単位は、決定された大きさの変換単位に制限されるものではない。

【0081】

従って、復号化部２５は、抽出部２３によって抽出された変換単位関連情報に基づいて決定された変換単位を利用し、現在領域について逆変換を行うことができる。特に、復号化部２５は、変換単位最多分割情報に基づいて決定された現在領域に係わる変換単位の最多分割レベルに基づいて、現在領域に許容される可変的ツリー構造の変換単位を判読し、可変的ツリー構造の変換単位において、変換係数を逆変換するのに利用される変換単位を検出することができる。復号化部２５は、最多分割レベルに基づいて検出された変換単位を利用し、現在領域について逆変換を行うことができる。

【0082】

復号化部２５は、ビデオの所定領域を構成する映像ごとに、当該符号化モードについての情報及び変換単位関連情報に基づいて復号化を行うことにより、ビデオを復元することができる。

【0083】

一実施形態によるビデオ符号化装置１０及び一実施形態によるビデオ復号化装置２０は、ビデオ符号化及びビデオ復号化の過程で、ツリー構造による多様な大きさ及び形態の変換単位を利用し、変換及び逆変換を行うことができるので、映像特性を考慮し、ビデオを効率的に符号化／復号化することができる。

【0084】

また、一実施形態によるツリー構造の変換単位において、可変的ツリー構造の変換単位を基にした変換を利用して、符号化／復号化を行うので、映像特性及び符号化特性によって、不要な階層の変換単位を利用した符号化／復号化過程は省略することができるので、演算量を節減することができる。

【0085】

また、一実施形態による最多分割レベルに基づいて、現在領域について許容される変換単位の最多分割回数または分割レベルの個数などが予測されるので、変換単位のサブ分割単位情報を含み、ビデオ復号化に利用される変換単位を決定するための必要な情報の伝送量が減少する。

【0086】

図３は、一実施形態によるツリー構造による変換単位の階層モデルを図示している。

【0087】

一実施形態によるビデオ符号化装置１０、及び一実施形態によるビデオ復号化装置２０が、現在ビデオを符号化するために利用することができるツリー構造による変換単位は、現在ビデオで許容される変換単位の最大サイズ、及びビデオに係わる変換単位の最小サイズに基づいて決定されてもよい。一実施形態によるビデオ符号化装置１０は、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットに、現在ビデオで許容される変換単位の最大サイズ情報「ＭａｘTransformSize」及び最小サイズ情報「ＭｉｎTransformSize」を含んで出力することができる。

【0088】

例えば、変換単位の最大サイズ情報「ＭａｘTransformSize」及び最小サイズ情報「ＭｉｎTransformSize」が、それぞれ３２ｘ３２、４ｘ４を示す場合、サイズ６４ｘ６４の領域（ＣＵ：coding unit）３０に係わる変換単位は、サイズ３２ｘ３２の変換単位３５ａ，３５ｂ，３５ｃ，３５ｄから、サイズ４ｘ４の変換単位３８ａ，３８ｂを含んでもよい。

【0089】

説明の便宜のために、現在変換単位の高さ及び幅を半分にし、１レベル下位レベルの変換単位が４個ずつ生成される、「変換単位の階層関係」を仮定する。現在ビデオに許容される変換単位の最大サイズが３２ｘ３２であるので、最上位レベルであるレベル０変換単位の大きさは、３２ｘ３２であり、レベル１変換単位の大きさは、１６ｘ１６、レベル２変換単位の大きさは、８ｘ８、レベル２変換単位の大きさは、４ｘ４である。

【0090】

具体的には、レベル０のサイズ３２ｘ３２変換単位３５ａ，３５ｂ，３５ｃ，３５ｄが、レベル１のサイズ１６ｘ１６変換単位３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｈ，３６ｉ，３６ｌ，３６ｍ，３６ｐに分割される。また、レベル１のサイズ１６ｘ１６変換単位３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｈ，３６ｉ，３６ｌ，３６ｍ，３６ｐが、レベル２のサイズ８ｘ８変換単位３７ａ，３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆに分割される。また、レベル２のサイズ８ｘ８変換単位３７ａ，３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆが、レベル３のサイズ４ｘ４変換単位３８ａ，３８ｂに分割される。

【0091】

紙面の制限のために、レベル１の変換単位３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｈ，３６ｉ，３６ｌ，３６ｍ，３６ｐ、レベル２の変換単位３７ａ，３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆ及びレベル３の変換単位３８ａ，３８ｂについては、存在可能な全ての変換単位が図示されていないが、現在変換単位から１レベル下位レベルの変換単位が４個ずつ生成される。

【0092】

具体的には、現在領域３０に係わる変換を行うために利用されるレベル別変換単位の個数は、レベル０の変換単位３５ａ，３５ｂ，３５ｃ，３５ｄが４個、レベル１の変換単位３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｈ，３６ｉ，３６ｌ，３６ｍ，３６ｐが１６個、レベル２の変換単位３７ａ，３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆが６４個、レベル３の変換単位３８ａ，３８ｂが２５６個である。

【0093】

一実施形態によるビデオ符号化装置１０は、領域３０に係わるツリー構造による変換単位を決定するために、現在ビデオに許容されるサイズ３２ｘ３２の変換単位３５ａ，３５ｂ，３５ｃ，３５ｄから、サイズ１６ｘ１６の変換単位３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ，３６ｈ，３６ｉ，３６ｌ，３６ｍ，３６ｐ、サイズ８ｘ８の変換単位３７ａ，３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７ｆ、及びサイズ４ｘ４の変換単位３８ａ，３８ｂを利用し、反復して現在領域３０に係わる変換を行うことができる。

【0094】

一実施形態によるビデオ符号化装置１０は、レベル０，１，２，３の全ての変換単位について変換を行った後、現在領域３０の内部領域ごとに、独立して最小誤差の変換係数を出力するレベルの変換単位を選択することができる。一実施形態によるツリー構造による変換単位は、かように選択されたレベルの変換単位を含んでもよい。

【0095】

一実施形態によるビデオ符号化装置１０は、現在領域３０のツリー構造による変換単位についての情報を符号化するために、最小誤差の変換係数を生成することによって選択された変換単位のレベルを示す変換深度についての情報を符号化して出力することができる。

【0096】

一実施形態によるビデオ復号化装置２０は、ビットストリームから抽出された変換深度についての情報を利用し、現在領域３０の変換係数を出力するのに利用された変換単位のレベルを読み取り、現在領域３０の変換係数を逆変換するためのツリー構造による変換単位を決定することができる。

【0097】

図４は、一実施形態による可変的ツリー構造の変換単位の階層モデルを図示している。

【0098】

一実施形態によるビデオ符号化装置１０は、現在ビデオで許容される変換単位の最大サイズ情報「ＭａｘTransformSize」及び最小サイズ情報「ＭｉｎTransformSize」と共に、現在領域の変換単位の最多分割情報「ＭａｘＴｕDepth」を出力することができる。

【0099】

現在領域の変換単位の最多分割情報は、現在領域に係わる最多変換レベル、すなわち、許容される変換単位のレベルの個数を示すことができる。現在領域のうち、現在領域４０について、最上位レベルである基礎変換単位を含み、最多変換レベルまでの下位レベルの変換単位が許容される。

【0100】

例えば、現在領域に係わる最多変換レベルが２に設定される。

【0101】

基礎変換単位は、レベル０のサイズ３２ｘ３２変換単位４５ａ，４５ｂ，４５ｃ，４５ｄである。これにより、サイズ６４ｘ６４の現在領域４０に係わる変換単位は、レベル０のサイズ３２ｘ３２変換単位４５ａ，４５ｂ，４５ｃ，４５ｄと、レベル１のサイズ１６ｘ１６の変換単位４６ａ，４６ｂ，４６ｃ，４６ｄ，４６ｅ，４６ｈ，４６ｉ，４６ｌ，４６ｍ，４６ｐとを含んでもよい。

【0102】

現在ビデオで許容される変換単位の最大サイズ情報「ＭａｘTransformSize」及び最小サイズ情報「ＭｉｎTransformSize」、現在領域の変換単位の最多分割情報「ＭａｘＴｕDepth」に基づいて、現在領域で利用可能な変換単位の最小サイズは、下記式（１）によって決定される。

【0103】

Minimum possible leaf ＴＵ size
＝ｍａｘ（ＭｉｎTransformSize，RootＴＵSize／（２＾（ＭａｘＴｕDepth−１））） （１）
すなわち、現在領域の変換単位の最小サイズ「Minimum possible leaf ＴＵ Size」は、現在ビデオで許容される変換単位の最小サイズ情報（ＭｉｎTransformSize）と、基礎変換単位から最多分割回数ほど分割された最下位レベルの変換単位の大きさ（RootＴＵSize／（２＾（ＭａｘＴｕDepth−１）））とのうち、大きい方にされる。

【0104】

式（１）で、最多分割回数に相応する「ＭａｘＴｕDepth−１」の範囲は、下記式（２）による。

【0105】

ＭａｘＴｕDepth−１≦Ｌｏｇ２（ＭａｘTransformSize）−Ｌｏｇ２（ＭｉｎTransformSize） （２）
すなわち、最多分割回数は、現在ビデオで許容される変換単位の最大サイズ「ＭａｘTransformSize」及び最小サイズ情報「ＭｉｎTransformSize」に基づいて決定される最大変換単位から最小変換単位までの分割回数より小さいか、あるいは同じである。

【0106】

現在領域４０に係わる変換を行うために利用されるレベル別変換単位の個数は、レベル０の変換単位４５ａ，４５ｂ，４５ｃ，４５ｄの４個と、レベル１の変換単位４６ａ，４６ｂ，４６ｃ，４６ｄ，４６ｅ，４６ｈ，４６ｉ，４６ｌ，４６ｍ，４６ｐの１６個とであってもよい。

【0107】

従って、現在ビデオに係わる変換単位の最大サイズ及び最小サイズ情報によって、レベル０，１，２，３の全ての変換単位が利用可能であるとしても、一実施形態によるビデオ符号化装置１０は、現在領域４０について設定された変換単位の最多分割レベルまたは最多分割回数に基づいて、レベル１及び２の変換単位のみを利用し、現在領域４０について変換を行うことができる。

【0108】

すなわち、図３の領域３０については、現在ビデオに係わる変換単位の最大サイズ及び最小サイズ情報に基づいて、レベル０の変換単位４個、レベル１の変換単位１６個、レベル２の変換単位６４個及びレベル３の変換単位２５６個を利用して、変換が行われることについて説明した。これに対し、図４の領域４０については、一実施形態による変換単位の最多分割回数または最多分割レベルに基づいて、レベル０の変換単位４個、レベル１の変換単位１６個のみを利用して変換が行われる。

【0109】

また、一実施形態によるビデオ符号化装置１０は、変換単位ごとに下位レベルの変換単位に分割されるか否かを示す変換単位サブ分割情報を符号化して出力することができる。最小サイズの変換単位は、それ以上下位レベルの変換単位に分割されるものではないので、最下位レベルの変換単位については、変換単位サブ分割情報が符号化される必要がない。

【0110】

従って、図３の領域３０については、レベル０の変換単位４個、レベル１の変換単位１６個及びレベル２の変換単位６４個について、変換単位サブ分割情報が符号化される。これに対し、３の領域３０については、一実施形態による変換単位の最多分割レベルまたは最多分割回数に基づいて、レベル０の変換単位４個についてのみ、変換単位サブ分割情報を符号化すればよい。

【0111】

また、前述のように、変換単位の最多分割回数は、ビデオについて許容された最大サイズ及び最小サイズに相応する最大変換単位から最小変換単位までの分割回数より少ないか、あるいは同じであり、これに相応して変換単位の最多分割レベルが予測される。このような最多分割レベルの予測可能性に基づいて、最多分割情報のビットが節約される。

【0112】

例えば、最多分割情報がトランケーテッド・ユーナリ・マックスコーディング（truncated unary max coding）方式に従って符号化される場合、ビデオに対して許容された最大変換単位から最小変換単位までの分割回数が、最大分割レベルの最大値に設定されるので、最大値に相応する最多分割レベルが符号化される場合には、１ビットが減少する。

【0113】

図３のツリー構造の変換単位と、図４の可変的ツリー構造の変換単位とを比較した結果、最多分割レベルまたは最多分割回数に基づいて、変換に利用可能な変換単位階層の個数が変わるので、変換単位の階層構造が変更されることが確認される。一実施形態によるビデオ符号化装置１０は、現在領域４０の領域ごとに、可変的ツリー構造の変換単位を利用して変換を行った結果、領域別に独立して最小誤差の変換係数を出力するレベルの変換単位を選択することができ、出力された変換係数を生成するのに利用された変換深度の変換単位が決定される。

【0114】

一実施形態によるビデオ符号化装置１０は、現在領域３０の可変的ツリー構造の変換単位を決定するのに必要な変換深度についての情報、及び変換単位最多分割情報を符号化して出力することができる。

【0115】

一実施形態によるビデオ復号化装置２０は、ビットストリームから抽出された変換深度についての情報、及び変換単位最多分割情報を利用し、現在領域４０の符号化に利用された変換単位の変換深度と、変換単位の最多分割レベルとを読み取ることができる。判読された変換深度またはレベルに基づいて、現在領域４０の変換係数を逆変換するための可変的ツリー構造による変換単位が決定される。

【0116】

一実施形態による変換単位の最多分割回数または最多分割レベルは、現在領域の特性によって決定される。従って、映像特性上、多種の変換単位を利用して変換が行われる必要がない場合、可変的階層構造による変換単位を利用し、ビデオ符号化及びビデオ復号化が行われることにより、多様な階層及び大きさの変換単位を利用して変換を行う演算量の負担が低減される。また、変換単位の最多分割レベルに基づいて、可能な変換単位の階層構造が予測されるので、変換単位の階層構造と係わる符号化情報が減少し、符号化結果の伝送効率が向上する。

【0117】

以上、図３及び図４を参照して、変換単位の高さ及び幅が半分になり、下位レベルの変換単位に分割される実施形態について開示した。しかし、本発明の階層的構造の変換単位は、図３及び図４の実施形態に限定されるものではなく、変換単位の高さ及び幅のうち少なくとも一つが任意の比率で分割され、下位レベルの変換単位が生成される多様な実施形態も包括することができる。

【0118】

図５、図６、図７及び図８は、多様な実施形態による基礎変換単位を図示している。

【0119】

一実施形態による可変的ツリー構造の変換単位は、基礎変換単位から分割された下位レベルの変換単位を含むので、基礎変換単位の形態または大きさによって、可変的ツリー構造の変換単位に含まれる変換単位の形態の大きさが決定される。

【0120】

基本的には、基礎変換単位の大きさは、現在ビデオに係わる最大変換単位より小さいか、あるいは同じである。領域の符号化モードに基づいて、領域の基礎変換単位の形態が決定される。

【0121】

例えば、現在領域の基礎変換単位の形態は、領域の符号化モードのうち、予測モードによって決定される。例えば、現在領域の予測モードが、インターモードまたはイントラモードであるかに基づいて、基礎変換単位の大きさが決定される。

【0122】

例えば、現在領域の基礎変換単位の形態は、領域の符号化モードのうち、パーティション・サイズによって決定される。パーティションは、領域のインター予測またはイントラ予測のために、領域が分割された形態のデータ単位であり、パーティション・サイズは、パーティションの形態または大きさを示すことができる。

【0123】

図５を参照すれば、領域の予測のためのデータ単位と同一形態の基礎変換単位が決定される。例えば、サイズ２Ｎｘ２Ｎの領域５０に係わるサイズ２Ｎｘ２Ｎのパーティション５１は、インター予測またはイントラ予測のためのデータ単位であり、領域５０の基礎変換単位は、サイズ２Ｎｘ２Ｎの変換単位に決定される。

【0124】

他の例として、基礎変換単位は、領域のパーティションより小さいか、あるいは同じ大きさの変換単位に決定される。この場合、基礎変換単位は、当該領域に位置したパーティション内に含まれるので、現在領域のパーティション間の境界にまたがらないように決定される。

【0125】

図６を参照すれば、サイズ２Ｎｘ２Ｎの領域６０について、サイズＮｘ２Ｎのパーティション６１ａ，６１ｂが決定された場合、領域６０に係わるサイズ２Ｎｘ２Ｎの基礎変換単位６５ａ，６５ｂ，６５ｃ，６５ｄが決定される。基礎変換単位６５ａ，６５ｂ，６５ｃ，６５ｄは、パーティション６１ａ，６１ｂより小さく、パーティション６１ａ，６１ｂに含まれながら、パーティション６１ａ，６１ｂの境界を横切らない。

【0126】

図７を参照すれば、サイズ４Ｍｘ４Ｍの領域７０について、幅が非対称的に分割されたパーティション７１ａ，７１ｂが決定される。すなわち、領域７０について、サイズＭｘ４Ｍパーティション７１ａ及びサイズ３Ｍｘ４Ｍパーティション７１ｂが決定される。この場合、領域７０に係わる基礎変換単位は、パーティション７１ａ，７１ｂの境界にまたがらないように、サイズＭｘＭの変換単位７５ａ，７５ｂ，７５ｃ，７５ｄと、サイズ２Ｍｘ２Ｍの変換単位７５ｉ，７５ｊとに決定される。サイズＭｘＭの変換単位７５ａ，７５ｂ，７５ｃ，７５ｄ、及びサイズ２Ｍｘ２Ｍの変換単位７５ｉ，７５ｊも、それぞれ当該領域のパーティション７１ａまたは７１ｂに含まれる。

【0127】

また、現在領域について、基礎変換単位の大きさが一定に制限されもする。図８を参照すれば、サイズ４Ｍｘ４Ｍの領域８０について、サイズＭｘ４Ｍパーティション８１ａ、及びサイズ３Ｍｘ４Ｍパーティション８１ｂが決定される。この場合、領域８０について、パーティション８１ａ，８１ｂの境界にまたがらず、決定された大きさを有するサイズＭｘＭの変換単位８５ａ，８５ｂ，８５ｃ，８５ｄ，８５ｅ，８５ｆ，８５ｇ，８５ｈ，８５ｉ，８５ｊ，８５ｋ，８５ｌ，８５ｍ，８５ｎ，８５ｏ，８５ｐが決定される。

【0128】

一実施形態による最多分割レベルも、領域の符号化モードごとに別途に決定される。一実施形態による最多分割レベルは、領域の予測モードごとに別途に決定される。例えば、インターモードである領域のための最多分割情報「ＭａｘＴＵDepthOfInter」、またはイントラモードである領域のための最多分割情報「ＭａｘＴＵDepthOfIntra」など、予測モード別に最多分割レベルが別途に決定される。

【0129】

一実施形態による最多分割レベルは、スライスタイプごとに別途に決定される。例えば、イントラタイプのスライスのための最多分割レベル値「ＭａｘＴＵDepthOfIntraSlice」、インターＰタイプのスライスのための最多分割レベル値「ＭａｘＴＵDepthOfInterＰ」、インターＢタイプのスライスのための最多分割レベル値「ＭａｘＴＵDepthOfInterＢ」など、スライスタイプ別に最多分割レベルが別途に決定される。その場合、スライスヘッダに、それぞれのスライスタイプ別最多分割情報が含まれて符号化される。

【0130】

図９及び図１０は、多様な実施形態による可変的ツリー構造の変換単位を図示している。

【0131】

一実施形態による可変的ツリー構造の変換単位は、基礎変換単位を含み、基礎変換単位から分割された１レベル以上の下位レベルの変換単位を含んでもよい。例えば、基礎変換単位は、パーティション・サイズと無関係であるが、基礎変換単位から分割された下位レベルの変換単位は、パーティション・サイズに基づいて決定される。

【0132】

例えば、図９を参照すれば、サイズ２Ｎｘ２Ｎの領域９０のパーティションタイプが、サイズＮｘ２Ｎのパーティション９１ａ，９１ｂに決定される。レベル０の基礎変換単位９５は、パーティション９１ａ，９１ｂの大きさと係わりなく、領域９０と同一サイズである２Ｎｘ２Ｎに決定される。基礎変換単位から１段階下位レベルであるレベル１の変換単位９７ａ，９７ｂ，９７ｃ，９７ｄは、パーティション９１ａ，９１ｂの境界にまたがらないが、パーティション９１ａ，９１ｂより小さいサイズＮｘＮの変換単位に決定される。

【0133】

図１０を参照すれば、サイズ４Ｍｘ４Ｍの領域９２のパーティションタイプが、非対称的パーティションタイプであるパーティション９３ａ，９３ｂに決定される。レベル０の基礎変換単位９４は、パーティション９３ａ，９３ｂの大きさと係わりなく、領域９２と同一サイズである４Ｍｘ４Ｍに決定される。

【0134】

一例として、領域９２のレベル０の基礎変換単位９４から１段階下位レベルであるレベル１の変換単位は、パーティション９３ａ，９３ｂの境界を横切らないために、サイズＭｘＭの変換単位９６ａ，９６ｂ，９６ｃ，９６ｄ，９６ｅ，９６ｆ，９６ｇ，９６ｈと、サイズ２Ｍｘ２Ｍの変換単位９６ｉ，９６ｊとに決定される。

【0135】

他の例として、領域９２のレベル０の基礎変換単位９４から１段階下位レベルであるレベル１の変換単位は、パーティション９３ａ，９３ｂの境界を横切らずに、いずれも決定された大きさを有するように、サイズＭｘＭの変換単位９８ａ，９８ｂ，９８ｃ，９８ｄ，９８ｅ，９８ｆ，９８ｇ，９８ｈ，９８ｉ，９８ｊ，９８ｋ，９８ｌ，９８ｍ，９８ｎ，９８ｏ，９８ｐに決定される。

【0136】

以上、図５ないし図８を参照して、多様な実施形態による基礎変換単位について開示し、図９及び図１０を参照して、多様な実施形態による可変的ツリー構造の変換単位について開示した。開示された変換構造は、上位レベルの変換単位の高さ及び幅が半分になった形態の正方形のデータ単位であるが、本発明によって開示される変換単位は、正方形のデータ単位のみに限定して適用されるものではないということに留意しなければならない。

【0137】

図１１は、一実施形態による可変的ツリー構造の変換単位を利用するビデオ符号化方法のフローチャートを図示している。

【0138】

段階１１１で、ビデオを符号化するために、ビデオが多数の領域に分割されて領域別に符号化される。ビデオにおいて、所定サイズの現在領域を符号化するために、現在領域に係わる基礎変換単位から階層的に分割される変換単位において、変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位を基に、現在領域について変換が行われる。現在領域は、符号化のためのデータ単位、マクロブロック、ピクチャ、スライスなどであってもよい。

【0139】

一実施形態による現在領域に係わる基礎変換単位は、現在領域に係わる利用可能な最大サイズである最上位階層の変換単位であり、ビデオに係わる変換単位の最大サイズより小さいか、あるいは同じである。

【0140】

一実施形態による変換単位の最多分割レベルは、現在領域について許容される変換単位のレベルの個数を示し、現在領域に係わる基礎変換単位から現在領域について許容される最下位レベルの変換単位までの分割回数に相応する。

【0141】

一実施形態による可変的ツリー構造の変換単位は、変換単位の最多分割レベルに基づいて基礎変換単位を含み、基礎変換単位から分割され始めて最多分割レベルまで段階的に分割されて生成されるレベル別変換単位を含んでもよい。

【0142】

一実施形態による変換単位の最多分割レベルは、現在領域に係わる符号化の遂行最中に利用される予測モード、スライスタイプなどの符号化モードごとに別途に決定される。現在領域に係わる基礎変換単位は、映像特性によって多様な方式に設定される。

【0143】

可変的に設定可能な基礎変換単位、または可変的に設定可能な最多分割レベルに基づいて、現在領域に係わる変換に可変的ツリー構造の変換単位が利用される。可変的ツリー構造の変換単位を利用し、現在領域について変換を行った結果、最小誤差が生じる変換単位が現在領域に係わる変換深度の変換単位に決定され、変換係数が出力される。

【0144】

段階１１２で、段階１１１で決定された変換単位を基にした変換を含んだ符号化によって生成された現在領域の符号化データ、及び現在領域の符号化で決定された符号化モードについての情報が、ビットストリーム形態で出力される。また、ビデオに係わる変換単位の最大サイズについての情報、該最小サイズについての情報、及び変換単位の最多分割レベルを示す変換単位最多分割情報がビットストリームに共に含まれて出力される。

【0145】

現在領域について最終変換単位に決定された変換単位において、現在領域に係わる変換単位の最小サイズを有する変換単位を除いた変換単位ごとに、次の下位レベルの変換単位に分割されるか否かを示す変換単位サブ分割情報が符号化されて出力される。

【0146】

また、変換単位ごとに、下位レベルの変換単位中に、０ではない係数を含む変換単位の存在いかんを示す階層的変換単位パターン情報が符号化されて出力される。

【0147】

図１２は、一実施形態による可変的ツリー構造の変換単位を利用するビデオ復号化方法のフローチャートを図示している。段階１２１で、ビデオが符号化されたデータを含むビットストリームが受信される。

【0148】

段階１２２で、段階１２１で受信されたビットストリームをパージングし、ビットストリームから、現在領域の符号化データ及び現在領域の符号化で決定された符号化モードについての情報が抽出される。

【0149】

また、ビットストリームから、ビデオに係わる変換単位の最大サイズについての情報及び最小サイズについての情報、並びに変換単位最多分割情報が抽出される。現在領域に係わる変換単位の最多分割情報は、現在領域に係わる符号化遂行中に利用される予測モードごとに、またはスライスタイプごとに別個に判読される。ビットストリームから、変換単位ごとに変換単位サブ分割情報または階層的変換単位パターン情報が抽出される。

【0150】

段階１２３で、抽出された符号化モードについての情報から、現在領域の符号化モードが判読され、符号化モードに基づいて、現在領域の符号化されたデータが復号化される。

【0151】

特に、変換単位最多分割情報に基づいて、現在領域に係わる変換単位の最多分割レベルが判読される。最多分割レベルに基づいて、現在領域に係わる基礎変換単位から、階層的に分割される変換単位において、変換単位の最多分割レベルに基づいて生成される可変的ツリー構造の変換単位が決定される。可変的ツリー構造の変換単位において、変換深度の変換単位が決定され、変換深度の変換単位を利用し、現在領域の変換係数について逆変換が行われる。映像ごとに復号化された結果を組み合わせてビデオが復元される。

【0152】

変換単位の最多分割回数または最多分割レベルは、映像の空間的領域の特性によって個別的に決定される。符号化システムまたは復号化システムの能力、データ通信環境に基づいて、変換単位の最多分割回数または最多分割レベルが決定される。基礎変換単位からの最多分割回数または最多分割レベルが選択的に制限されることにより、符号化演算量及び伝送ビット量が減少する。

【0153】

以下、図１３ないし図２７を参照して、一実施形態によるツリー構造の符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。

【0154】

図１３は、本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化装置のブロック図を図示している。

【0155】

一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約して呼ぶ。

【0156】

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

【0157】

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

【0158】

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

【0159】

最大符号化単位の高さ及び幅を階層的に分割することができる全回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

【0160】

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択して符号化深度に決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

【0161】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0162】

最大符号化単位の大きさは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位としても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

【0163】

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

【0164】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

【0165】

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

【0166】

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

【0167】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使われ、段階別にデータ単位が変更されもする。

【0168】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

【0169】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を、「予測単位」とする。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

【0170】

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどである。一実施形態によるパーティションタイプは、予測単位の高くまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。

【0171】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

【0172】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。

【0173】

先に、図１ないし図１２を参照して説明したように、符号化単位の変換のためには、符号化単位より小さいか、あるいは同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。

【0174】

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

【0175】

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

【0176】

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

【0177】

また、符号化単位決定部１２０は、最大符号化単位または現在符号化単位ごとにあらかじめ限定的に設定された変換単位の最多分割レベルに基づいて、符号化単位に係わる符号化過程で、可変的ツリー構造の変換単位を利用して変換を行うことができる。

【0178】

変換単位の最多分割レベルを基にした可変的ツリー構造の変換単位は、図１ないし図１２で説明した通りである。すなわち、一実施例による可変的ツリー構造の変換単位は、基礎変換単位を含み、基礎変換単位から符号化単位に許容される最多分割レベルまでの下位レベルの変換単位を含んでもよい。

【0179】

一実施形態による基礎変換単位及び一実施形態による最多分割レベルは、符号化モードによって可変的に設定されもする。例えば、現在映像の基礎変換単位の形態は、符号化単位の符号化モードのうち、予測モードまたはパーティション・サイズによって決定される。

【0180】

パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションであってもよい。一実施形態によれば、符号化単位の予測単位と同一形態の基礎変換単位が決定される。他の例として、基礎変換単位は、パーティション間の境界を横切らないように、パーティションより小さいか、あるいは同じ大きさの変換単位に決定される。

【0181】

また、基礎変換単位は、パーティションより大きいとしても、基礎変換単位より下位レベルの変換単位は、パーティションの境界にまたがらないように、パーティションより小サイズに設定される。

【0182】

符号化単位決定部１２０は、符号化単位ごとに、可変的ツリー構造の変換単位を利用して変換を行うことにより、ツリー構造による変換単位を決定することができる。一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティション、ツリー構造による変換単位の決定方式については、図１５ないし図２５を参照して詳細に説明する。

【0183】

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム形態で出力する。

【0184】

符号化された映像データは、映像の残差データの符号化結果であってもよい。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

【0185】

符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0186】

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

【0187】

１つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードについての情報が設定される。

【0188】

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。

【0189】

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの情事閣データ単位であってもよい。

【0190】

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション・サイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。

【0191】

ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどに挿入される。

【0192】

また、現在ビデオについて許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどを介して出力される。出力部１３０は、図１ないし図１２を参照して説明した変換単位と係わる、変換単位最多分割情報、変換インデックス情報、変換単位サブ分割情報、階層的変換単位パターン情報などを出力することができる。

【0193】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

【0194】

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

【0195】

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0196】

図１３のビデオ符号化装置１００は、図１を参照して説明したビデオ符号化装置１０に相応する。

【0197】

すなわち、ビデオ符号化装置１０で、現在領域は、ビデオを符号化するためにビデオの現在ピクチャを分割した符号化単位のうち１つの現在符号化単位であってもよい。ビデオ符号化装置１０の変換単位決定部１１は、現在ピクチャを最大符号化単位に分割し、最大符号化単位ごとに、深度別符号化単位を基に符号化を行い、最小誤差を生じる符号化結果を出力する符号化深度の符号化単位を選択し、ツリー構造による符号化単位を決定することができる。

【0198】

また、ビデオ符号化装置１０の変換単位決定部１１は、符号化単位を基に符号化を行うとき、変換単位を基に変換を行うことができる。特に、最大符号化単位または現在符号化単位ごとに設定された変換単位の最多分割レベルに基づいて、可変的ツリー構造の変換単位が構成される。

【0199】

ビデオ符号化装置１０の変換単位決定部１１は、符号化単位ごとに、可変的ツリー構造の変換単位に基づいて変換を行い、最適符号化結果を生じさせる変換単位のレベルである変換深度と、符号化単位の符号化深度とを決定することができる。これにより、変換単位決定部１１は、最大符号化単位ごとに、ツリー構造による符号化単位及びツリー構造による変換単位を決定することができる。

【0200】

ビデオ符号化装置１０の出力部１３は、最大符号化単位ごとに、ツリー構造による符号化単位別に符号化されたピクチャの符号化データを出力し、ツリー構造による符号化単位の符号化深度、及び符号化モードについての情報を符号化し、変換単位最多分割情報を符号化して出力することができる。

【0201】

図１４は、本発明の一実施形態によって、ツリー構造による符号化単位、及び可変的ツリー構造の変換単位を利用するビデオ復号化装置のブロック図を図示している。

【0202】

一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して呼ぶ。

【0203】

一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１３及びビデオ符号化装置１００を参照して説明したところと同一である。

【0204】

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。

【0205】

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別にツリー構造による符号化単位に係わる符号化深度、及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。

【0206】

最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出される。

【0207】

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度、及び符号化モードについての情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行って最小符号化誤差を発生させることにより、決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式に従って、データを復号化して映像を復元することができる。

【0208】

また、映像データ及び符号化情報抽出部２２０は、現在ビデオについて許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報を、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットから抽出することができる。映像データ及び符号化情報抽出部２２０は、図１ないし１２を参照して説明した変換単位と係わる、変換単位最多分割情報、変換インデックス情報、変換単位サブ分割情報、階層的変換単位パターン情報なども、符号化情報として抽出することができる。

【0209】

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位において所定データ単位について割り当てられるので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が書き込まれているのであるならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

【0210】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

【0211】

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位の大きさ情報を含んでツリー構造による変換単位を読み取り、符号化単位ごとに、変換単位を基にした逆変換を行うことができる。

【0212】

映像データ復号化部２３０は、符号化単位ごとに、変換単位の最多分割レベルに基づいて、基礎変換単位から許容可能な下位レベルを含む可変的ツリー構造の変換単位を決定することができる。映像データ復号化部２３０は、可変的ツリー構造の変換単位において、変換係数を逆変換するために必要な変換深度の変換単位を決定し、変換係数について逆変換を行って画素値を復元することができる。

【0213】

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし、分割情報が現在深度で、それ以上分割されないことを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位大きさ情報を利用して、復号化することができる。すなわち、符号化単位、予測単位及び最小単位において、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

【0214】

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行って最小符号化誤差を発生させた符号化単位についての情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0215】

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

【0216】

図１４のビデオ復号化装置２００は、図２を参照して説明したビデオ復号化装置２０に相応する。すなわち、ビデオ復号化装置２０で、現在領域は、ビデオを符号化するために、ビデオの現在ピクチャを分割した符号化単位のうち、１つの現在符号化単位であってもよい。ビデオ復号化装置２０の抽出部２３は、パージングされたビットストリームから、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって符号化されたピクチャの符号化データを抽出し、符号化単位ごとに、符号化深度及び符号化モードについての情報を抽出することができる。また、ビデオ復号化装置２０の抽出部２３は、ピクチャ、スライス、最大符号化単位または符号化単位ごとに設定された、変換単位最多分割情報を抽出することができる。

【0217】

ビデオ復号化装置２０の復元部２５は、最大符号化単位ごとに、ツリー構造による変換単位を利用し、逆変換を行うことができる。特に、復元部２５は、変換単位最多分割情報に基づいて構成された可変的ツリー構造の変換単位において決定された変換単位を利用して逆変換を行い、符号化単位ごとに符号化されたデータを復号化してピクチャを復元することができる。

【0218】

図１５は、本発明の一実施形態による符号化単位の概念を図示している。

【0219】

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

【0220】

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１５に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

【0221】

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

【0222】

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

【0223】

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２、１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。

【0224】

図１６は、本発明の一実施形態による符号化単位を基にした映像符号化部のブロック図を図示している。

【0225】

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

【0226】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

【0227】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位に基づいた作業を行わなければならない。

【0228】

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位において、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位において、それぞれの符号化単位内の変換単位の大きさを決めなければならない。

【0229】

図１７は、本発明の一実施形態による符号化単位を基にした映像復号化部のブロック図を図示している。

【0230】

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。

【0231】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

【0232】

ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

【0233】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

【0234】

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとにそれぞれ、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決めなければならない。

【0235】

図１８は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

【0236】

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

【0237】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

【0238】

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

【0239】

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

【0240】

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

【0241】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

【0242】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

【0243】

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

【0244】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

【0245】

図１９は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0246】

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

【0247】

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

【0248】

図２０は、本発明の一実施形態による、深度別符号化情報を図示している。

【0249】

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

【0250】

パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうち、いずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

【0251】

予測モードについての情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかが設定される。

【0252】

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち一つである。

【0253】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出して復号化に利用することができる。

【0254】

図２１は、本発明の一実施形態による深度別符号化単位を図示している。

【0255】

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率で分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

【0256】

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０、並びにサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

【0257】

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

【0258】

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。

【0259】

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

【0260】

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。

【0261】

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

【0262】

かように深度０，１，…，ｄ−１、ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて、号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

【0263】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

【0264】

図２２、図２３及び図２４は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

【0265】

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0266】

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0267】

予測単位１０６０において、一部のパーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

【0268】

変換単位１０７０において、一部１０５２の映像データ（１０５２）については、符号化単位に比べて小サイズのデータ単位であり、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

【0269】

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

【0270】

【表1】

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

【0271】

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

【0272】

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

【0273】

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率で分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

【0274】

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

【0275】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

【0276】

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0277】

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

【0278】

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

【0279】

図２５は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

【0280】

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

【0281】

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

【0282】

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

【0283】

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0284】

図２５を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が、１ビットのフラグに限定されるのではなくて、設定によって、０，１，２，３，…などに増加させ、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

【0285】

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。

【0286】

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさが１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさが８ｘ８に設定される。

【0287】

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさが３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

【0288】

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

【0289】

従って、最大変換単位分割情報を、「ＭａｘTransformSizeIndex」、最小変換単位サイズを、「ＭｉｎTransformSize」、変換単位分割情報が０である場合の変換単位サイズを、「RootＴｕSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」は、下記式（３）のように定義される。

【0290】

ＣｕｒｒＭｉｎＴｕSize
＝ｍａｘ（ＭｉｎTransformSize，RootＴｕSize／（２＾ＭａｘTransformSizeIndex）） （３）
現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、式（３）によれば、「RootＴｕSize／（２＾ＭａｘTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「ＭｉｎTransformSize」は、最小変換単位サイズであるので、これらのうち小さい値が現在現在符号化単位で可能な最小変換単位サイズ「ＣｕｒｒＭｉｎＴｕSize」である。

【0291】

一実施形態による最大変換単位サイズRootＴｕSizeは予、測モードによって変わることもある。

【0292】

例えば、現在予測モードがインターモードであるならば、RootＴｕSizeは、下記式（４）によって決定される。式（４）で、「ＭａｘTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

【0293】

RootＴｕSize＝Ｍｉｎ（ＭａｘTransformSize，ＰＵSize） （４）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

【0294】

現在パーティション単位の予測モードが、予測モードがイントラモードであるならば、「RootＴｕSize」は、下記式（５）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

【0295】

RootＴｕSize＝Ｍｉｎ（ＭａｘTransformSize，PartitionSize） （５）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootＴｕSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

【0296】

ただし、パーティション単位の予測モードによって変わる事実施形態による現在最大変換単位サイズ「RootＴｕSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。

【0297】

図２６は、本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ符号化方法のフローチャートを図示している。

【0298】

段階１２１０で、現在ピクチャは、少なくとも１つの最大符号化単位に分割される。また、可能な全分割回数を示す最大深度があらかじめ設定されもする。段階１２２０で、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域で符号化され、少なくとも１つの分割領域別に最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されながら、さらに下位深度の符号化単位に分割される。深度別に符号化単位ごとに反復して符号化が行われなければならない。

【0299】

また、深度別符号化単位ごとに、符号化誤差が最小であるパーティションタイプ別変換単位が決定されなければならない。符号化単位の最小符号化誤差を発生させる符号化深度が決定されるために、全ての深度別符号化単位ごとに符号化誤差が測定されて比較される。符号化単位の決定過程において、符号化単位の変換のための変換単位が決定される。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位に決定される。現在符号化単位内で、変換深度によるレベル別に変換を行った結果、周辺領域の変換単位とは独立しており、同一領域の変換深度別変換単位間では、階層的な構造を形成するツリー構造による変換単位が決定される。

【0300】

また、最大符号化単位または符号化単位別に、変換単位の最多分割レベルがあらかじめ設定される。現在符号化単位に係わる最多分割レベルによって、現在符号化単位について許容される基礎変換単位から最小変換単位までの可変的ツリー構造の変換単位を利用し、変換が行われる。現在符号化単位に係わる可変的ツリー構造の変換単位において、最小誤差の符号化結果が出力される変換深度の変換単位が決定され、ツリー構造による変換単位が決定される。

【0301】

段階１２３０で、最大符号化単位ごとに、少なくとも１つの分割領域別に、最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位階層構造情報などを含んでもよい。符号化された符号化モードについての情報は、符号化された映像データと共に復号化端に伝送される。

【0302】

図２７は、本発明の一実施形態によって、ツリー構造による符号化単位及び可変的ツリー構造の変換単位を利用するビデオ復号化方法のフローチャートを図示している。

【0303】

段階１３１０で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階１３２０で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、並びに最大符号化単位別符号化深度及び符号化モードについての情報が抽出される。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に符号化誤差が最小である深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を深度別に階層的に分割した少なくとも１つのデータ単位に基づいて、映像データが符号化されたものである。

【0304】

一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することにより、映像の符号化／復号化の効率性を向上させることができる。

【0305】

また、抽出された情報のうち、変換単位階層構造情報によれば、符号化単位内のツリー構造による変換単位が決定される。例えば、変換単位最多分割情報に基づいて、現在符号化単位に許容される基礎変換単位から最下位レベルの変換単位までのレベル個数が判読される。または、符号化／復号化システム間に既設定の最大分割レベルに基づいて、基礎変換単位から最下位レベルの変換単位までのレベル個数が決定される。

【0306】

基礎変換単位は、既設定の方式に従って、符号化モードによって可変的に決定される。従って、変換単位最多分割情報に基づいて、現在符号化単位に係わる可変的ツリー構造の変換単位が決定され、このうち、現在符号化単位の逆変換に利用される変換深度の変換単位が決定される。

【0307】

段階１３３０で、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードについての情報に基づいて、現在符号化単位について復号化が行われながら、可変的ツリー構造の変換単位において決定された変換単位を利用し、現在符号化単位について逆変換が行われる。符号化単位ごとに、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、あるいは記録媒体に保存されたり、あるいはネットワークを介して伝送される。

【0308】

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

【0309】

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性からはずれない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】