特許 6014823 ビデオのエントロピー符号化方法及びその装置、並びにビデオのエントロピー復号化方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6014823

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】ビデオのエントロピー符号化方法及びその装置、並びにビデオのエントロピー復号化方法及びその装置

(51)【国際特許分類】

   H04N 19/13 20140101AFI20161013BHJP

   H04N 19/122 20140101ALI20161013BHJP

   H04N 19/157 20140101ALI20161013BHJP

   H04N 19/176 20140101ALI20161013BHJP

   H04N 19/70 20140101ALI20161013BHJP

【ＦＩ】

   H04N19/13

   H04N19/122

   H04N19/157

   H04N19/176

   H04N19/70

【請求項の数】2

【全頁数】38

(21)【出願番号】特願2015-520057(P2015-520057)

(86)(22)【出願日】2013年7月2日

(65)【公表番号】特表2015-526014(P2015-526014A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】KR2013005870

(87)【国際公開番号】WO2014007524

(87)【国際公開日】20140109

【審査請求日】2015年4月20日

(31)【優先権主張番号】61/667,117

(32)【優先日】2012年7月2日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】キム，イル−グ

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１１−０２４００１（ＪＰ，Ａ）

【文献】 国際公開第２０１３／００５９６８（ＷＯ，Ａ２）

【文献】 国際公開第２０１２／１３４２４６（ＷＯ，Ａ２）

【文献】 国際公開第２０１２／０６１２９８（ＷＯ，Ａ１）

【文献】 国際公開第２０１２／０４４１０４（ＷＯ，Ａ２）

【文献】 国際公開第２０１１／１３０３３４（ＷＯ，Ａ２）

【文献】 国際公開第２０１１／０８７２９５（ＷＯ，Ａ２）

【文献】 Xiaoyin Che et al.，Enhanced Context Modeling for Skip and Split Flag，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting: Daegu, KR，２０１１年 １月，JCTVC-D254，pp.1-4

【文献】 Benjamin Bross et al.，High efficiency video coding (HEVC) text specification draft 6，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 ４月，JCTVC-H1003_dK，pp.i-vi,46,49-50,84-88,184-207，ＵＲＬ，http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip

【文献】 Il-Koo Kim and JeongHoon Park，Simplification on context derivation of cbf_luma syntax element，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，10th Meeting: Stockholm, SE，２０１２年 ７月，JCTVC-J0303_r1，pp.1-3

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

現在深度に対する分割変換フラグを、ビットストリームから獲得する段階と、
前記分割変換フラグが前記現在深度の非分割を示す場合、変換深度を前記現在深度と同じく決定する段階と、
変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグの算術復号化のためのコンテクストモデルを示すコンテクストインデックスを決定するためのコンテクスト増加パラメータを、前記変換単位のサイズを利用せずに、前記変換単位の変換深度が所定値と同じであるか否かに基づいて決定する段階と、
前記コンテクスト増加パラメータとコンテクストオフセットとを加えて獲得された前記コンテクストインデックスを用いて、複数のコンテクストモデルのうち前記コンテクストモデルを決定する段階と、
前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術復号化する段階と、
前記変換深度の変換単位に、０でない変換係数が存在するか否かということを前記変換単位有効係数フラグに基づき決定する段階とを含み、
前記変換単位の変換深度は符号化単位を分割した回数を示し、
前記所定値は０であり、
前記分割変換フラグが前記現在深度の分割を示す場合、前記現在深度の変換単位は次の深度の一つ以上の変換単位に分割され、前記次の深度に対する分割変換フラグが前記ビットストリームから獲得されることを特徴とするビデオ復号化方法。

【請求項2】

現在深度に対する分割変換フラグを、ビットストリームから獲得し、前記分割変換フラグが前記現在深度の非分割を示す場合、変換深度を前記現在深度と同じく決定するパージング部と、
変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグの算術復号化のためのコンテクストモデルを示すコンテクストインデックスを決定するためのコンテクスト増加パラメータを、前記変換単位のサイズを利用せずに、前記変換単位の変換深度が所定値と同じであるか否かに基づいて決定し、前記コンテクスト増加パラメータとコンテクストオフセットとを加えて獲得された前記コンテクストインデックスを用いて複数のコンテクストモデルのうち前記コンテクストモデルを決定するコンテクスト・モデラと、
前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術復号化し、前記変換深度の変換単位に、０でない変換係数が存在するか否かということを前記変換単位有効係数フラグに基づき決定する算術復号化部と、を含み、
前記変換単位の変換深度は符号化単位を分割した回数を示し、
前記所定値は０であり、
前記分割変換フラグが前記現在深度の分割を示す場合、前記現在深度の変換単位は次の深度の一つ以上の変換単位に分割され、前記次の深度に対する分割変換フラグが前記ビットストリームから獲得されることを特徴とするビデオ復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオの符号化及び復号化に係り、さらに詳細には、変換単位と係わる情報をエントロピー符号化及びエントロピー復号化する方法及びその装置に関する。

【背景技術】

【0002】

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を所定サイズのブロックに分けた後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用して、ブロックのレジデュアルデータを獲得する。レジデュアルデータは、変換、量子化、スキャニング、ランレングスコーディング（run length coding）及びエントロピー・コーディングを介して圧縮される。エントロピー・コーディング時には、シンタックスエレメント（syntax element）、例えば、変換係数や予測モードなどの情報をエントロピー符号化し、ビットストリームを出力する。デコーダは、ビットストリームから、シンタックスエレメントをパージングして抽出し、抽出されたシンタックスエレメントに基づいて映像を復元する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする技術的課題は、符号化単位及び符号化単位の変換処理過程で利用されるデータ単位である変換単位間の階層的分割関係を示す変換深度に基づいて、変換単位と係わるシンタックスエレメントをエントロピー符号化及びエントロピー復号化するのに利用されるコンテクストモデル（context model）を選択するエントロピー符号化方法及びその装置、並びにエントロピー復号化方法及びその装置を提供することである。

【課題を解決するための手段】

【0004】

符号化単位に含まれた変換単位を決定するために、符号化単位を分割する回数を示す変換深度に基づいて、変換単位有効係数フラグの算術復号化のためのコンテクストモデルを決定し、決定されたコンテクストモデルに基づいて、変換単位有効係数フラグを算術復号化する。

【発明の効果】

【0005】

本発明の実施形態によれば、変換深度に基づいて、コンテクストモデルを選択することにより、コンテクストモデル選択過程に利用される選択基準を簡略化（simplification）し、エントロピー符号化過程及びエントロピー復号化過程に必要な演算過程を単純化することができる。

【図面の簡単な説明】

【0006】

【図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。

【図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。

【図3】本発明の一実施形態による符号化単位の概念を図示する図面である。

【図4】本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図である。

【図5】本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図である。

【図6】本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。

【図7】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。

【図8】本発明の一実施形態による深度別符号化情報を図示する図面である。

【図9】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図10】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。

【図11】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。

【図12】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。

【図13】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図14】本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。

【図15】本発明の一実施形態による、変換単位に係わる、シンタックスエレメントをエントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。

【図16】一実施形態による、符号化単位及び符号化単位に含まれた変換単位の一例を示した図面である。

【図17】変換深度に基づいて、図１６の変換単位の変換単位有効係数フラグｃｂｆのコンテクストモデル決定に利用されるコンテクスト増加パラメータｃｔｘＩｎｃを示した図面である。

【図18】一実施形態による、符号化単位及び符号化単位に含まれた変換単位の他の例を示した図面である。

【図19】一実施形態による、図１６の符号化単位に含まれた変換単位の構造を決定するための分割変換フラグsplit＿transform＿flagの一例を示した図面である。

【図20】一実施形態による、エントロピー符号化される変換単位を例示する図面である。

【図21】図２１は図２０の変換単位２０１０に対応する有効性マップを示した図面である。

【図22】図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flagを示した図面である。

【図23】図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagを示した図面である。

【図24】図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿remainingを示した図面である。

【図25】一実施形態による、ビデオのエントロピー符号化方法を示したフローチャートである。

【図26】本発明の一実施形態による、エントロピー復号化装置の構成を示したブロック図である。

【図27】本発明の一実施形態による、ビデオのエントロピー復号化方法を示したフローチャートである。

【発明を実施するための形態】

【0007】

本発明の一実施形態によるビデオのエントロピー復号化方法は、符号化単位に含まれ、前記符号化単位の逆変換処理に利用される変換単位を決定する段階と、ビットストリームから、前記変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグを獲得する段階と、前記変換単位を決定するために、前記符号化単位を分割する回数を、前記変換単位の変換深度とするとき、前記変換単位の変換深度に基づいて、前記変換単位有効係数フラグの算術復号化のためのコンテクストモデルを決定する段階と、前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術復号化する段階と、を含むことを特徴とする。

【0008】

一実施形態によるビデオのエントロピー復号化装置は、ビットストリームから、符号化単位に含まれ、前記符号化単位の逆変換処理に利用される変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグを獲得するパージング部と、前記変換単位を決定するために、前記符号化単位を分割する回数を、前記変換単位の変換深度とするとき、前記変換単位の変換深度に基づいて、前記変換単位有効係数フラグの算術復号化のためのコンテクストモデルを決定するコンテクスト・モデラと、前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術復号化する算術復号化部と、を含むことを特徴とする。

【0009】

一実施形態によるビデオのエントロピー符号化方法は、変換単位に基づいて変換された符号化単位のデータを獲得する段階と、前記符号化単位に含まれた変換単位を決定するために、前記符号化単位を分割する回数を、前記変換単位の変換深度とするとき、前記変換単位の変換深度に基づいて、前記変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグの算術符号化のためのコンテクストモデルを決定する段階と、前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術符号化する段階と、を含むことを特徴とする。

【0010】

一実施形態によるビデオのエントロピー符号化装置は、変換単位に基づいて変換された符号化単位のデータを獲得し、前記符号化単位に含まれた変換単位を決定するために、前記符号化単位を分割する回数を、前記変換単位の変換深度とするとき、前記変換単位の変換深度に基づいて、前記変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグの算術符号化のためのコンテクストモデルを決定するコンテクスト・モデラと、前記決定されたコンテクストモデルに基づいて、前記変換単位有効係数フラグを算術符号化する算術符号化部と、を含むことを特徴とする。

【0011】

以下、添付された図面を参照し、本発明の実施形態について具体的に説明する。

【0012】

まず、図１ないし図１３を参照し、本発明の一実施形態による、階層的ツリー構造による符号化単位に基づいたビデオの符号化方法及び復号化方法、並びにその装置について開示する。また、図１４ないし図２７を参照し、図１ないし図１３で説明されたビデオの符号化方式及び復号化方式で獲得されたシンタックスエレメント（syntax element）をエントロピー符号化する過程、及びエントロピー復号化する過程について具体的に詳細に説明する。

【0013】

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。

【0014】

一実施形態によるビデオ符号化装置１００は、階層的符号化部１１０及びエントロピー符号化部１２０を含む。

【0015】

階層的符号化部１１０は、符号化される現在ピクチャを所定サイズのデータ単位に分割し、データ単位別で符号化を行う。具体的には、階層的符号化部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを分割することができる。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが８より大きい値を有し、各辺の長さが２の累乗（power of ２）である正方形のデータ単位でもある。

【0016】

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

【0017】

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データは、深度によって、階層的に分類される。

【0018】

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

【0019】

階層的符号化部１１０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、階層的符号化部１１０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度、及び最大符号化単位別映像データは、エントロピー符号化部１２０に出力される。

【0020】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0021】

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されることがある。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

【0022】

従って、一実施形態による階層的符号化部１１０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

【0023】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。例えば、最大符号化単位の深度が０とするとき、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度は２に設定される。その場合、最大符号化単位から４回分割された符号化単位が、最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

【0024】

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

【0025】

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。

【0026】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データ符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されてもよい。

【0027】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

【0028】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。

【0029】

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

【0030】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

【0031】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。

【0032】

符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。

【0033】

以下、周波数変換の基になるデータ単位を、「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって分割される。

【0034】

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０に、変換単位の大きさがＮｘＮであるならば、変換深度１に、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

【0035】

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、階層的符号化部１１０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。

【0036】

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１２を参照して詳細に後述する。

【0037】

階層的符号化部１１０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

【0038】

エントロピー符号化部１２０は、階層的符号化部１１０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態で出力する。符号化された映像データは、映像のレジデュアルデータの符号化結果として、変換係数に係わる情報を含む。深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。特に、後述するように、一実施形態によるエントロピー符号化部１２０は、変換単位に、０ではない変換係数が含まれているか否かということを示す変換単位有効係数フラグｃｂｆを、変換単位の変換深度に基づいて決定されたコンテクストモデルを利用して、エントロピー符号化することができる。エントロピー符号化部１２０において、変換単位と係わるシンタックスエレメントをエントロピー符号化する過程については後述する。

【0039】

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなればならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0040】

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

【0041】

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって、階層的に分割され、位置別に符号化深度が異なってもよいので、データについて、符号化深度及び符号化モードに係わる情報が設定される。

【0042】

従って、一実施形態によるエントロピー符号化部１２０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てることができる。

【0043】

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

【0044】

例えば、エントロピー符号化部１２０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。

【0045】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。

【0046】

従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

【0047】

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置１００は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0048】

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。

【0049】

一実施形態によるビデオ復号化装置２００は、パージング部２１０、エントロピー復号化部２２０及び階層的復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための、符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。

【0050】

パージング部２１０は、符号化されたビデオに対するビットストリームを受信し、シンタックスエレメントをパージングする。エントロピー復号化部２２０は、パージングされたシンタックスエレメントに対するエントロピー復号化を行うことにより、ツリー構造による符号化単位に基づいて符号化された映像データを示すシンタックスエレメントを算術復号化し、算術復号化されたシンタックスエレメントを、階層的復号化部２３０に出力する。すなわち、エントロピー復号化部２２０は、０及び１のビット列形態で受信されたシンタックスエレメントに対するエントロピー復号化を行い、シンタックスエレメントを復元する。

【0051】

エントロピー復号化部２２０は、最大符号化単位別に、ツリー構造による符号化単位に対する、符号化深度、符号化モード、カラー成分情報、予測モード情報などの付加情報を抽出する。抽出された符号化深度及び符号化モードなどに係わる情報は、階層的復号化部２３０に出力される。ビット列の映像データは、最大符号化単位に分割されて符号化されたので、階層的復号化部２３０は、最大符号化単位ごとに、映像データを復号化することができる。

【0052】

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報、変換係数情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

【0053】

エントロピー復号化部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。

【0054】

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、エントロピー復号化部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

【0055】

後述のように、一実施形態によるエントロピー復号化部２２０は、変換単位有効係数フラグｃｂｆを、変換単位の変換深度に基づいて決定されたコンテクストモデルを利用して、エントロピー復号化することができる。エントロピー復号化部２２０において、変換単位と係わるシンタックスエレメントをエントロピー復号化する過程については後述する。

【0056】

階層的復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。

【0057】

階層的復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

【0058】

また、階層的復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。

【0059】

階層的復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、階層的復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

【0060】

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、階層的復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。

【0061】

一実施形態によるビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0062】

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

【0063】

以下、図３ないし図１３を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について詳細に説明する。

【0064】

図３は、階層的符号化単位の概念を図示している。

【0065】

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

【0066】

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

【0067】

解像度が高いか、あるいはデータ量が多い場合、符号化効率を向上させ、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

【0068】

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

【0069】

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。

【0070】

図４は、本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ符号化装置の具体的なブロック図を図示している。

【0071】

イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

【0072】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータとして復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

【0073】

一実施形態によるエントロピー符号化部４５０は、変換単位と係わるシンタックスエレメント、例えば、変換単位に、０ではない変換係数が含まれているか否かということを示す変換単位有効変換係数フラグｃｂｆ、０ではない変換係数の位置を示す重要性マップsignificance map、変換係数が１より大きい値を有するか否かということを示す第１臨界値フラグｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag、変換係数が２より大きい値を有するか否かということを示す第２臨界値フラグｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag、第１臨界値フラグ及び第２臨界値フラグに基づいて決定された基本レベルbaseLevelと実際変換係数ａｂｓｃｏｅｆｆとの差値に対応する変換係数のサイズ情報ｃｏｅｆｆ＿ａｂｓ＿level＿remainingを算術符号化してビット列を出力する。

【0074】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００）の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

【0075】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定する。

【0076】

図５は、本発明の一実施形態による、階層的構造の符号化単位に基づいたビデオ復号化装置の具体的なブロック図を図示している。

【0077】

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報であるシンタックスエレメントがパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力される。一実施形態によるエントロピー復号化部５２０は、ビットストリームから、変換単位と係わるシンタックスエレメント、すなわち、変換単位に、０ではない変換係数が含まれているか否かということを示す変換単位有効変換係数フラグｃｂｆ、重要性マップsignificance map、変換係数が１より大きい値を有するか否かということを示す第１臨界値フラグｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag、変換係数が２より大きい値を有するか否かということを示す第２臨界値フラグｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag、第１臨界値フラグ及び第２臨界値フラグに基づいて決定された基本レベルbaseLevelと、実際変換係数ａｂｓｃｏｅｆｆとの差値に対応する変換係数のサイズ情報ｃｏｅｆｆ＿ａｂｓ＿level＿remainingを獲得し、獲得されたシンタックスエレメントを算術復号化し、シンタックスエレメントを復元する。

【0078】

周波数逆変換部５４０は、逆量子化されたデータを、空間領域の映像データとして復元する。空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

【0079】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

【0080】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

【0081】

イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ど５００）ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

【0082】

図６は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。

【0083】

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によっ、て適応的に決定され、ユーザの要求によって、多様に設定されてもよい。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

【0084】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

【0085】

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

【0086】

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

【0087】

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

【0088】

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

【0089】

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

【0090】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

【0091】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

【0092】

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

【0093】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに、符号化を行い、当該深度で最小である符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

【0094】

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0095】

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号化したりする。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

【0096】

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われる。

【0097】

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

【0098】

図８は、本発明の一実施形態による深度別符号化情報を図示している。

【0099】

一実施形態によるビデオ符号化装置１００の出力部は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

【0100】

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

【0101】

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで、予測符号化が行われるかということが設定される。

【0102】

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

【0103】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

【0104】

図９は、本発明の一実施形態による深度別符号化単位を図示している。

【0105】

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

【0106】

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

【0107】

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

【0108】

サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションタイプ９１２、サイズ２Ｎ＿０ｘＮ＿０のパーティションタイプ９１４及びサイズＮ＿０ｘ２Ｎ＿０ ９１６のパーティションタイプ９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

【0109】

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割され（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。

【0110】

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

【0111】

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割され（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。

【0112】

最大深度がｄである場合、深度別分割情報は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

【0113】

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

【0114】

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２については、分割情報が設定されない。

【0115】

データ単位９９９は、現在最大符号化単位に係わる「最小単位」であるとされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小である符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。

【0116】

そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

【0117】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

【0118】

図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。

【0119】

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0120】

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0121】

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８、１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

【0122】

変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に対するイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

【0123】

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。

【0124】

【表1】

一実施形態によるビデオ符号化装置１００のエントロピー符号化部１２０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００のエントロピー復号化部２２０は、受信されたビットストリームをパージングし、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

【0125】

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

【0126】

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示す。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

【0127】

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮ、及び非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示す。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：ｎ（ｎは、１より大きい整数）及びｎ：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：ｎ及びｎ：１に分割された形態を示す。

【0128】

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさはＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

【0129】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

【0130】

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0131】

従って、その場合、現在符号化単位が、周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

【0132】

他の実施形態として、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されてもよい。

【0133】

図１３は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。

【0134】

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

【0135】

パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報ＴＵ size flagが１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

【0136】

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報ＴＵ size flagが１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0137】

変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

【0138】

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報ＴＵ size flagが１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

【0139】

パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報ＴＵ size flagが１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0140】

図１３を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって０、１、２、３、…などに増加させ、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。

【0141】

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

【0142】

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは８ｘ８に設定される。

【0143】

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。

【0144】

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

【0145】

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位、すなわち、基礎変換単位RootTuの大きさを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

【0146】

CurrMinTuSize
＝max（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、基礎変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示す。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、基礎変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。

【0147】

一実施形態による基礎変換単位サイズ「RootTuSize」は、予測モードによって異なる。

【0148】

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式２によって決定される。数式２で、「MaxTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

【0149】

RootTuSize＝min（MaxTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位である基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

【0150】

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

【0151】

RootTuSize＝min（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

【0152】

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズである基礎変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないことに留意しなければならない。

【0153】

以下、図１のビデオ符号化装置１００のエントロピー符号化部１２０で行われるシンタックスエレメントのエントロピー符号化過程、及び図２のビデオ復号化装置２００のエントロピー復号化部２２０で行われるシンタックスエレメントのエントロピー復号化過程について詳細に説明する。

【0154】

前述のように、本発明の一実施形態によるビデオ符号化装置１００、及びビデオ復号化装置２００は、最大符号化単位より小さいか、あるいはそれと同じ符号化単位に、最大符号化単位を分割して符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立してコストに基づいて決定される。そのように、最大符号化単位に含まれた、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、ツリー構造によるデータ単位が構成される。すなわち、最大符号化単位ごとに、ツリー構造の符号化単位、ツリー構造の予測単位及び変換単位が決定される。復号化のために、そのような階層的構造のデータ単位の構造情報を示す情報である階層情報と、階層情報以外に、復号化のための階層以外の情報とが伝送される必要がある。

【0155】

階層的構造と係わる情報は、前述の図１０ないし図１２で説明したツリー構造の符号化単位、ツリー構造の予測単位、及びツリー構造の変換単位を決定するために必要な情報であり、最大符号化単位の大きさ、符号化深度、予測単位のパーティション情報、符号化単位の分割いかんを示す分割フラグsplit flag、変換単位のサイズ情報、符号化単位が、変換処理のためにさらに小さい変換単位に分割されるか否かということを示す分割変換フラグsplit＿Transform＿flagなどを含む。階層的構造情報以外の符号化情報としては、各予測単位に適用されたイントラ／インター予測の予測モード情報、動きベクトル情報、予測方向情報、複数個のカラー成分が利用された場合、当該データ単位に適用されたカラー成分情報、変換係数のレベル情報などを含む。以下の説明で、階層情報、及び階層以外の情報は、エントロピー符号化及びエントロピー復号化の対象であるシンタックスエレメントとする。

【0156】

特に、本発明の実施形態は、シンタックスエレメントのうち変換単位と係わるシンタックスエレメントをエントロピー符号化及びエントロピー復号化するとき、コンテクストモデルを選択する方式に係わるものである。以下、変換単位と係わるシンタックスエレメントについて、エントロピー符号化過程及びエントロピー復号化過程において具体的に説明する。

【0157】

図１４は、本発明の一実施形態によるエントロピー符号化装置の構成を示したブロック図である。図１４のエントロピー符号化装置１４００は、図１のビデオ符号化装置１００のエントロピー符号化部１２０に対応する。

【0158】

図１４を参照すれば、一実施形態によるエントロピー符号化装置１４００は、二進化部（binarizer）１４１０、コンテクスト・モデラ（context modeler）１４２０、二進算術符号化部（binary arithmetic coder）１４３０を含む。また、二進算術符号化部１４３０は、レギュラ・コーディング部（regular coding engine）１４３２と、バイパス・コーディング部（bypass coding engine）１４３４と、を含む。

【0159】

エントロピー符号化装置１４００に入力されるシンタックスエレメントが二進値ではない場合、二進化部１４１０は、シンタックスエレメントを二進化し、０または１の二進値で構成されたビンストリング（bin string）を出力する。ビンは、０または１で構成されたストリームの各ビットを示すものであり、各ビンは、ＣＡＢＡＣ（context adaptive binary arithmetic coding）を介して符号化される。シンタックスエレメントが、０と１との頻度が同一であるデータであるならば、確率値を利用しないバイパス・コーディング部１４３４に出力されて符号化される。

【0160】

二進化部１４１０は、シンタックスエレメントの類型によって、多様な二進化方式を適用することができる。二進化方式としては、単項（unary）及び切削型単項（truncated unary）、切削型ライスコード（truncated rice code）、ゴロムコード（Golomb code）、固定長コード（fixed length code）などが利用される。

【0161】

変換単位に０ではない変換係数（以下、「有効変換係数（significant coefficient）」とする）が存在するか否かということを示す変換単位有効係数フラグであるcoded＿block＿flag（または、「ｃｂｆ」とする）は、固定長コード方式を利用して二進化される。すなわち、変換単位に、０ではない変換係数が存在する場合、変換単位有効係数フラグｃｂｆは、１の値を有するように設定され、変換単位に、０ではない変換係数が存在しない場合、変換単位有効係数フラグｃｂｆは、０の値を有するように設定される。映像が複数個のカラー成分を含む場合、変換単位有効係数フラグは、各カラー成分の変換単位ごとに設定される。例えば、映像が、輝度（Ｙ）成分及び色差（Ｃｂ，Ｃｒ）成分から構成された場合、輝度成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿luma、色差成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿ｃｂ及びｃｂｆ＿ｃｒが設定される。

【0162】

コンテクスト・モデラ１４２０は、レギュラ・コーディング部１４３２に、シンタックスエレメントに対応するビット列を符号化するためのコンテクストモデルを提供する。具体的には、コンテクスト・モデラ１４２０は、現在シンタックスエレメントのビット列の各二進値を符号化するための二進値の発生確率を二進算術符号化部１４３０に出力する。

【0163】

コンテクストモデルは、ビンに係わる確率モデルであり、０と１とのうちいかなる値がＭＰＳ（most probable symbol）及びＬＰＳ（least probable symbol）に該当するかということに係わる情報と、ＭＰＳまたはＬＰＳのうち少なくとも１つの発生確率とを含む。

【0164】

一実施形態によるコンテクスト・モデラ１４２０は、変換単位の変換深度に基づいて、変換単位有効係数フラグｃｂｆのエントロピー符号化のためのコンテクストモデルを選択することができる。コンテクスト・モデラ１４２０は、変換単位の大きさが、符号化単位の大きさと同一である場合、すなわち、変換単位の変換深度が０である場合、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルとして、既設定の第１コンテクストモデルを決定することができる。また、コンテクスト・モデラ１４２０は、変換単位の大きさが、符号化単位の大きさより小さい場合、すなわち、変換単位の変換深度が０ではない場合、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルとして、既設定の第２コンテクストモデルを決定することができる。ここで、既設定の第１コンテクストモデルと第２コンテクストモデルは、互いに異なる確率分布モデルに基づく。すなわち、第１コンテクストモデルと第２コンテクストモデルは、互いに異なるコンテクストモデルである。

【0165】

そのように、一実施形態によるコンテクスト・モデラ１４２０は、変換単位有効係数フラグｃｂｆをエントロピー符号化するとき、変換単位が符号化単位と同一である場合と、そうではない場合とを区別し、互いに異なるコンテクストモデルを適用する。変換単位有効係数フラグのエントロピー符号化のために既設定の複数個のコンテクストモデルのうち一つを示すインデックスを、コンテクストインデックスｃｔｘＩｄｘとするとき、コンテクストインデックスｃｔｘＩｄｘは、コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃと、既設定のコンテクストインデックスオフセット（ｔｘＩｄｘOffsetとを加えた値を有することができる。すなわち、ｃｔｘＩｄｘ＝ｃｔｘＩｎｃ＋ｃｔｘＩｄｘOffsetである。コンテクスト・モデラ１４２０は、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合との２つの場合を区別し、変換単位の変換深度に基づいて、コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃを変化させることにより、結果として、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルを決定するためのコンテクストインデックスｃｔｘＩｄｘを変化させることができる。

【0166】

具体的には、変換深度をｔｒａｆｏdepthとするとき、コンテクスト・モデラ１４２０は、次のアルゴリズムに基づいて、コンテクスト増加パラメータｃｔｘＩｎｃを決定することができる。

【0167】

ｃｔｘＩｎｃ＝（ｔｒａｆｏdepth＝＝０）?１：０
前記アルゴリズムは、pseudo codeで、次のように表現することができる。

【0168】

｛
Ｉｆ（ｔｒａｆｏdepth＝＝０）ｃｔｘＩｎｃ＝１；
ｅｌｓｅｃｔｘＩｎｃ＝０；
｝
変換単位有効係数フラグは、輝度成分と色差成分とによって、別途に設定される。輝度成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿lumaのエントロピー符号化のためのコンテクストモデルは、前述のように、変換単位の変換単位の変換深度が０であるか否かということよって変化するコンテクスト増加パラメータｃｔｘＩｎｃを利用して決定される。色差成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿ｃｂまたはｃｂｆ＿ｃｒのエントロピー符号化のためのコンテクストモデルは、変換深度ｔｒａｆｏdepthの値を、コンテクスト増加パラメータｃｔｘＩｎｃとして利用して決定される。

【0169】

レギュラ・コーディング部１４３２は、コンテクスト・モデラ１４２０から提供されたコンテクストモデルに含まれたＭＰＳ、ＬＰＳに係わる情報、ＭＰＳまたはＬＰＳの確率情報に基づいて、シンタックスエレメントに対応するビット列に係わる二進算術符号化を行う。

【0170】

図１５は、本発明の一実施形態による、変換単位に係わるシンタックスエレメントをエントロピー符号化及びエントロピー復号化する過程を示したフローチャートである。

【0171】

図１５を参照すれば、段階１５１０で、現在変換単位に含まれた変換係数のうち、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグcoded＿block＿flag ｃｂｆが、まずエントロピー符号化及びエントロピー復号化される。前述のように、変換単位の変換深度に基づいて、ｃｂｆのエントロピー符号化のためのコンテクストモデルが決定され、決定されたコンテクストモデルに基づいて、ｃｂｆに係わる二進算術符号化が行われる。

【0172】

ｃｂｆが０であるならば、現在変換単位に０である変換係数だけが存在するのでｃ、ｂｆとして、０の値だけがエントロピー符号化及びエントロピー復号化され、変換係数レベル情報は、エントロピー符号化及びエントロピー復号化されない。

【0173】

段階１５２０で、現在変換単位に、有効変換係数が存在する場合には、有効変換係数の位置を示す有効性マップ（ＳｉｇMap：significance map）がエントロピー符号化及びエントロピー復号化される。

【0174】

有効性マップは、有効ビット（significant bit）、及び最後の有効変換係数の位置を示す所定の情報から構成される。有効ビットは、各スキャンインデックスによる変換係数が、有効変換係数であるか、それとも０であるかということを示すものであり、significant＿ｃｏｅｆｆ＿flag［ｉ］を利用して表現される。有効性マップは、変換単位を分割した所定サイズのサブセット単位として設定される。従って、significant＿ｃｏｅｆｆ＿flag［ｉ］は、変換単位に含まれた１つのサブセットに含まれた変換係数のうち、ｉ番目スキャンインデックスの変換係数が０であるか否かということを示す。

【0175】

従来Ｈ．２６４などでは、各有効変換係数ごとに、最後の有効変換係数であるか否かということを示すフラグEnd−Of−Blockが、別途にエントロピー符号化及びエントロピー復号化された。しかし、本発明の一実施形態によれば、最後の有効変換係数の位置情報がそのままエントロピー符号化及びエントロピー復号化される。例えば、最後の有効変換係数の位置が（ｘ，ｙ）（ｘ，ｙは整数）であるならば、（ｘ，ｙ）座標値を示すシンタックスエレメントであるlast＿significant＿ｃｏｅｆｆ＿ｘ及びlast＿significant＿ｃｏｅｆｆ＿ｙが、エントロピー符号化及びエントロピー復号化される。

【0176】

段階１５３０で、変換係数の大きさを示す変換係数レベル情報が、エントロピー符号化及びエントロピー復号化される。従来Ｈ．２６４／ＡＶＣでは、変換係数のレベル情報は、１つのシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿minus１によって表現された。本発明の実施形態によれば、変換係数のレベル情報は、変換係数の絶対値が１より大きいか否かということに係わるシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag、絶対値が２より大きいか否かということに係わるシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag、残りの変換係数のサイズ情報を示すシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿remainingを符号化される。

【0177】

残りの変換係数のサイズ情報を示すシンタックスエレメントｃｏｅｆｆ＿ａｂｓ＿level＿remainingは、変換係数の大きさａｂｓｃｏｅｆｆと、ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag及びｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagを利用して決定された基本レベル値baseLevelとの差値を有する。基本レベル値baseLevelは、次の数式：baseLevel＝１＋ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag＋ｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagによって決定され、ｃｏｅｆｆ＿ａｂｓ＿level＿remainingは、次の数式：ｃｏｅｆｆ＿ａｂｓ＿level＿remaining＝ａｂｓＣｏｅｆｆ−baseLevelによって決定される。ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag及びｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagが、０または１の値を有するので、基本レベル値baseLevelは、１〜３までの値を有することができる。従って、ｃｏｅｆｆ＿ａｂｓ＿level＿remainingは、（ａｂｓＣｏｅｆｆ−１）から（ａｂｓＣｏｅｆｆ−３）まで変化する。そのように、本来の変換係数の値を伝送する代わりに、原変換係数の大きさａｂｓＣｏｅｆｆと、基本レベル値baseLevelとの差値である（ａｂｓＣｏｅｆｆ−baseLevel）を、変換係数のサイズ情報として伝送する理由は、伝送されるデータサイズを低減させるためのことである。

【0178】

以下、一実施形態にる、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルの決定過程について説明する。

【0179】

図１６は、一実施形態による、符号化単位、及び符号化単位に含まれた変換単位の一例を示した図面である。図１６において、点線で表示されたデータ単位は、符号化単位を示し、実線で表示されたデータ単位は、変換単位を示す。

【0180】

前述のように、本発明の一実施形態によるビデオ符号化装置１００、及びビデオ復号化装置２００は、最大符号化単位より小さいか、あるいはそれと同じ符号化単位に、最大符号化単位を分割し、符号化及び復号化を行う。予測過程及び変換過程に利用される予測単位及び変換単位は、他のデータ単位と独立してコストに基づいて決定される。もしビデオ符号化装置１００及びビデオ復号化装置２００において、利用可能な最大変換単位の大きさより符号化単位が大きい場合には、符号化単位は、最大変換単位サイズ以下の変換単位に分割され、分割された変換単位に基づいて、変換過程が行われる。例えば、符号化単位の大きさが６４ｘ６４、利用可能な最大変換単位の大きさが３２ｘ３２である場合、符号化単位に対する変換（または逆変換）過程を遂行するためには、符号化単位は、３２ｘ３２以下の大きさの変換単位に分割される。

【0181】

符号化単位を、水平方向及び垂直方向に分割し、変換単位に至るまでの分割回数を示す変換深度ｔｒａｆｏdepthが決定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に、変換単位の大きさがＮｘＮであるならば、変換深度１に、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に決定される。

【0182】

図１６を参照すれば、変換単位１６１１，１６１６，１６１７は、最上位ルートの符号化単位を１回分割したレベル１の変換単位であり、変換深度１の値を有する。また、変換単位１６１２，１６１４，１６１４，１６１５は、レベル１の変換単位を、さらに４分割して生成されるレベル２の変換単位であり、変換深度２の値を有する。

【0183】

図１７は、変換深度に基づいて、図１６の変換単位の変換単位有効係数フラグｃｂｆのコンテクストモデル決定に利用されるコンテクスト増加パラメータｃｔｘＩｎｃを示した図面である。図１７のツリー構造において、リーフ（leaf）ノード１７１１ないし１７１７は、それぞれ図１６の変換単位１６１１ないし１６１７に対応し、リーフ（leaf）ノード１７１１ないし１７１７に表示された０または１の値は、それぞれ図１６の変換単位１６１１ないし１６１７のｃｂｆを示す。また、図１７で、同一変換深度のリーフは、左上側、右上側、左下側、右下側に位置した変換単位の順序に図示された。例えば、図１７で、リーフ１７１２，１７１３，１７１４，１７１５は、それぞれ図１６の変換単位１６１２，１６１３，１６１４，１６１５に対応する。また、図１６及び図１７を参照すれば、変換単位１６１２，１６１４のｃｂｆだけが１であり、他の変換単位のｃｂｆは０であると仮定する。

【0184】

図１７を参照すれば、図１６の変換単位１６１１ないし１６１７は、いずれも最上位ルートの符号化単位を分割し、分割深度ｔｒａｆｏdepthが０ではない値を有するので、変換単位１６１１ないし１６１７それぞれの有効係数フラグｃｂｆのコンテクストモデル決定に利用されるコンテクスト増加パラメータｃｔｘＩｎｃは、０の値を有するように設定される。

【0185】

図１８は、一実施形態による符号化単位、及び符号化単位に含まれた変換単位の他の例を示した図面である。図１８において、点線で表示されたデータ単位は、符号化単位１８１１を示し、実線で表示されたデータ単位は、変換単位１８１２を示す。

【0186】

図１８を参照すれば、符号化単位１８１１と、符号化単位１８１１の変換処理のために利用される変換単位１８１２との大きさが同一である場合、変換単位１８１２の変換深度ｔｒａｆｏdepthは、０の値を有する。そのように、変換単位１８１２の変換深度が０である場合、変換単位１８１２の有効係数フラグｃｂｆのコンテクストモデル決定に利用されるコンテクスト増加パラメータｃｔｘＩｎｃは、１の値を有するように設定される。

【0187】

一実施形態によれば、コンテクスト・モデラ１４２０は、変換単位の変換深度に基づいて、符号化単位の大きさと、変換単位の大きさとを比較し、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合とのそれぞれを区別し、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルを決定するためのコンテクストインデックスｃｔｘＩｄｘを変化させることができる。コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃを変化させることにより、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合とのそれぞれにおいて、変換単位有効係数フラグｃｂｆのエントロピー符号化のためのコンテクストモデルが変化する。

【0188】

図１９は、一実施形態による、図１６の符号化単位に含まれた変換単位の構造を決定するための分割変換フラグsplit＿Transform＿flagの一例を示した図面である。

【0189】

ビデオ符号化装置１００は、ビデオ復号化装置２００に、各符号化単位の変換過程に利用された変換単位の構造に係わる情報をシグナリングすることができる。そのような変換単位の構造に係わる情報は、各符号化単位が、水平方向及び垂直方向に４分割され、変換単位に分割されるか否かということを示す分割変換フラグsplit＿Transform＿flagを介してシグナリングされる。

【0190】

図１６及び図１９を参照すれば、最上位ルートの符号化単位は、４分割されるので、最上位ルートの符号化単位の分割変換フラグsplit＿Transform＿flag１９１０は、１に設定される。最上位ルートの符号化単位が、利用可能な最大変換単位の大きさより大きい場合、最上位ルートの符号化単位の分割変換フラグsplit＿Transform＿flag１９１０は、常に１に設定され、別途にシグナリングされない。なぜならば、符号化単位が、利用可能な最大変換単位の大きさより大きい場合には、符号化単位が、少なくとも最大変換単位以下の大きさに分割される必要があるからである。

【0191】

最上位ルートの符号化単位を４分割した変換深度１の変換単位それぞれについて、さらに変換深度２の変換単位に分割されるか否かということを示す分割変換フラグが設定される。図１９において、同一変換深度の変換単位に対して、左上側、右上側、左下側、右下側に位置した変換単位の順序に、分割変換フラグが表示された。図面符号１９１１は、図１６の変換単位１６１１の分割変換フラグであり、変換単位１６１１は、下位深度の変換単位に分割されないので、変換単位１６１１の分割変換フラグ１９１１は、０の値を有する。同様に、図１６の変換単位１６１６，１６１７も、下位深度の変換単位に分割されないので、変換単位１６１６，１６１７の分割変換フラグ１９１３，１９１４は、いずれも０の値を有する。図１６において、右上側に位置した変換深度１の変換単位は、さらに変換深度２の変換単位１６１２，１６１３，１６１４，１６１５に分割されるので、右上側に位置した変換深度１の変換単位に係わる分割変換フラグ１９１２は、１の値を有する。変換深度２の変換単位１６１２，１６１３，１６１４，１６１５は、それ以上下位深度の変換単位に分割されないので、変換深度２の変換単位１６１２，１６１３，１６１４，１６１５の分割変換フラグ１９１５，１９１６，１９１７，１９１８は、いずれも０の値を有する。

【0192】

前述のように、変換単位の変換深度に基づいて、ｃｂｆのエントロピー符号化のためのコンテクストモデルが選択され、選択されたコンテクストモデルに基づいて、ｃｂｆに係わる二進算術符号化が行われる。ｃｂｆが０であるならば、現在変換単位に、０である変換係数だけが存在するので、ｃｂｆとして、０の値だけがエントロピー符号化及びエントロピー復号化され、変換係数レベル情報は、エントロピー符号化及びエントロピー復号化されない。

【0193】

以下では、ｃｂｆが１の値を有する変換単位、すなわち、０ではない変換係数を有する変換単位に含まれた変換係数と係わるシンタックスエレメントをエントロピー符号化する過程について説明する。

【0194】

図２０は、一実施形態による、エントロピー符号化される変換単位を例示する。図２０では、変換単位２０００の大きさが１６ｘ１６である場合を図示したが、変換単位２０００の大きさは、図示された１６ｘ１６に限定されるものではなく、４ｘ４〜３２ｘ３２のような多様な大きさを有することができる。

【0195】

図２０を参照すれば、変換単位２０００に含まれた変換係数のエントロピー符号化及びエントロピー復号化のために、変換単位２０００は、さらに小サイズの変換単位に分割される。以下では、変換単位２０００に含まれた４ｘ４変換単位２０１０と係わるシンタックスエレメントをエントロピー符号化する過程について説明する。以下で説明する変換単位と係わるシンタックスエレメントをエントロピー符号化する過程は、他の大きさを有する変換単位についても適用される。

【0196】

４ｘ４変換単位２０１０に含まれた各変換係数は、図示されているような変換係数値ａｂｓｃｏｅｆｆを有する。４ｘ４変換単位２０１０に含まれた変換係数は、図示されているような所定スキャン順序によって直列化されて順次に処理される。スキャン順序は、図示されているところに限定されるものではなく、変更されるのである。

【0197】

４ｘ４変換単位２０１０に含まれた変換係数と係わるシンタックスエレメントは、変換単位に含まれた各変換係数が０ではない値を有する有効変換係数であるか否かということを示すシンタックスエレメントであるsignificant＿ｃｏｅｆｆ＿flag、変換係数の絶対値が１より大きいか否かということに係わるシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag、絶対値が２より大きいか否かということに係わるシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag、残り変換係数のサイズ情報を示すシンタックスエレメントであるｃｏｅｆｆ＿ａｂｓ＿level＿remainingがある。

【0198】

図２１は、図２０の変換単位２０１０に対応する有効性マップを示した図面である。

【0199】

図２０及び図２１を参照すれば、図２０の４ｘ４変換単位２０１０に含まれた変換係数のうち、０ではない値を有する有効変換係数について、１の値を有する有効性マップＳｉｇMap ２１００が設定される。そのような有効性マップＳｉｇMap ２１００は、既設定のコンテクストモデルを利用して、エントロピー符号化及びエントロピー復号化される。

【0200】

図２２は、図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flagを示した図面である。

【0201】

図２０ないし図２２を参照すれば、有効性マップＳｉｇMap ２１００が、１の値を有する有効変換係数について、当該有効変換係数が１より大きい値を有するか否かということを示すフラグであるｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag ２２００が設定される。ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag ２２００が１であるならば、当該変換係数は、１より大きい値を有する変換係数であるということを示し、ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag ２２００が０であるならば、当該変換係数は、１の値を有する変換係数であるということを示す。図２２において、１の値を有する変換係数位置のｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag ２２１０は、０の値を有することになる。

【0202】

図２３は、図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagを示した図面である。

【0203】

図２０ないし図２３を参照すれば、ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag ２２００が１に設定された変換係数について、当該変換係数が２より大きい値を有するか否かということを示すｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag ２３００が設定される。ｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag ２３００が１であるならば、当該変換係数は、２より大きい値を有する変換係数であるということを示し、ｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag ２３００が０であるならば、当該変換係数は、２の値を有する変換係数であるということを示す。図２３において、２の値を有する変換係数位置のｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flag ２３１０は、０の値を有することになる。

【0204】

図２４は、図２０の４ｘ４変換単位２０１０に対応するｃｏｅｆｆ＿ａｂｓ＿level＿remainingを示した図面である。

【0205】

図２０ないし図２４を参照すれば、残りの変換係数のサイズ情報を示すシンタックスエレメントｃｏｅｆｆ＿ａｂｓ＿level＿remaining ２４００は、各変換係数ごとに、（ａｂｓＣｏｅｆｆ−baseLevel）の値を計算して獲得される。残りの変換係数のサイズ情報を示すシンタックスエレメントｃｏｅｆｆ＿ａｂｓ＿level＿remainingは、変換係数の大きさａｂｓｃｏｅｆｆと、ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag及びｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagを利用して決定された基本レベル値baseLevelとの差値を有する。基本レベル値baseLevelは、次の数式：baseLevel＝１＋ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag＋ｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagによって決定され、次の数式：ｃｏｅｆｆ＿ａｂｓ＿level＿remaining＝ａｂｓＣｏｅｆｆ−baseLevelにより、ｃｏｅｆｆ＿ａｂｓ＿level＿remainingが決定される。

【0206】

ｃｏｅｆｆ＿ａｂｓ＿level＿remaining ２４００は、図示されたスキャン順序によって読み取られ、エントロピー符号化される。

【0207】

図２５は、一実施形態によるビデオのエントロピー符号化方法を示したフローチャートである。

【0208】

図１４及び図２５を参照すれば、段階２５１０で、コンテクスト・モデラ１４２０は、変換単位に基づいて変換された符号化単位のデータを獲得し、段階２５２０で、コンテクスト・モデラ１４２０は、変換単位の変換深度に基づいて、変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグの算術符号化のためのコンテクストモデルを決定する。

【0209】

コンテクスト・モデラ１４２０は、変換単位の大きさが、符号化単位の大きさと同一である場合、すなわち、変換単位の変換深度が０である場合、及び変換単位の大きさが符号化単位の大きさより小さい場合、すなわち、変換単位の変換深度が０ではない場合、互いに異なるコンテクストモデルを決定することができる。具体的には、コンテクスト・モデラ１４２０は、変換単位の変換深度に基づいて、コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃを変化させることにより、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合との２つの場合を区別し、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルを決定するためのコンテクストインデックスｃｔｘＩｄｘを変化させることができる。

【0210】

変換単位有効係数フラグは、輝度成分と色差成分とによって別途に設定される。輝度成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿lumaのエントロピー符号化のためのコンテクストモデルは、変換単位の変換単位の変換深度が０であるか否かということによって変化するコンテクスト増加パラメータｃｔｘＩｎｃを利用して決定される。色差成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿ｃｂ，ｃｂｆ＿ｃｒのエントロピー符号化のためのコンテクストモデルは、変換深度ｔｒａｆｏdepthの値をコンテクスト増加パラメータｃｔｘＩｎｃとして利用して決定される。

【0211】

段階２５３０で、レギュラ・コーディング部１４３２は、決定されたコンテクストモデルに基づいて、変換単位有効係数フラグを算術符号化する。

【0212】

図２６は、本発明の一実施形態によるエントロピー復号化装置の構成を示したブロック図である。図２６のエントロピー復号化装置２６００は、図２のビデオ復号化装置２００のエントロピー復号化部２２０に対応する。エントロピー復号化装置２６００は、前述のエントロピー符号化装置１４００で遂行されるエントロピー符号化過程の逆過程を遂行する。

【0213】

図２６を参照すれば、エントロピー復号化装置２６００は、コンテクスト・モデラ２６１０、レギュラ・デコーディング部２６２０、バイパス・デコーディング部２６３０、逆二進化部２６４０を含む。

【0214】

バイパス・コーディングによって符号化されたシンタックスエレメントは、バイパス・デコーディング部２６３０に出力されて算術復号化され、レギュラ・コーディングによって符号化されたシンタックスエレメントは、レギュラ・デコーディング部２６２０によって算術復号化される。レギュラ・デコーディング部２６２０は、コンテクスト・モデラ２６１０から提供されるコンテクストモデルに基づいて、現在シンタックスエレメントの二進値を算術復号化してビット列を出力する。

【0215】

一実施形態によるコンテクスト・モデラ２６１０は、前述の図１４のコンテクスト・モデラ１４２０と同一に、変換単位の変換深度に基づいて変換単位有効係数フラグｃｂｆのエントロピー符号化のためのコンテクストモデルを選択することができる。すなわち、コンテクスト・モデラ２６１０は、変換単位の大きさが符号化単位の大きさと同一である場合、すなわち、変換単位の変換深度が０である場合、及び変換単位の大きさが符号化単位の大きさより小さい場合、すなわち、変換単位の変換深度が０ではない場合、互いに異なるコンテクストモデルを決定することができる。具体的には、コンテクスト・モデラ２６１０は、変換単位の変換深度に基づいて、コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃを変化させることにより、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合との２つの場合を区別し、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルを決定するためのコンテクストインデックスｃｔｘＩｄｘを変化させることができる。

【0216】

ビットストリームから獲得された符号化単位が、変換単位に分割されるか否かということを示す分割変換フラグsplit＿Transform＿flagに基づいて、符号化単位に含まれた変換単位の構造を決定すれば、変換単位の変換深度は、符号化単位を分割して変換単位まで至る分割回数に基づいて決定される。

【0217】

変換単位有効係数フラグは、輝度成分と色差成分とによって別途に設定される。輝度成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿lumaのエントロピー符号化のためのコンテクストモデルは、変換単位の変換単位の変換深度が０であるか否かということよって変化するコンテクスト増加パラメータｃｔｘＩｎｃを利用して決定される。色差成分の変換単位に係わる変換単位有効係数フラグｃｂｆ＿ｃｂ，ｃｂｆ＿ｃｒのエントロピー符号化のためのコンテクストモデルは、変換深度ｔｒａｆｏdepthの値をコンテクスト増加パラメータｃｔｘＩｎｃとして利用して決定される。

【0218】

逆二進化部２６４０は、レギュラ・デコーディング部２６２０またはバイパス・デコーディング部２６３０で算術復号化されたビット列を、再びシンタックスエレメントとして復元する。

【0219】

エントロピー復号化装置２６００は、前述の変換単位有効係数フラグｃｂｆ以外に、ｃｏｅｆｆ＿ａｂｓ＿level＿remaining、ＳｉｇMap、ｃｏｅｆｆ＿ａｂｓ＿level＿greater１＿flag、ｃｏｅｆｆ＿ａｂｓ＿level＿greater２＿flagなどの変換単位に係わるシンタックスエレメントを算術復号化して出力する。変換単位に係わるシンタックスエレメントが復元されれば、復元されたシンタックスエレメントに基づいて、逆量子化、逆変換及び予測復号化過程を介して、変換単位に含まれたデータに係わる復号化が行われる。

【0220】

図２７は、本発明の一実施形態による、ビデオのエントロピー復号化方法を示したフローチャートである。図２７を参照すれば、段階２７１０で、符号化単位に含まれ、符号化単位の逆変換処理に利用される変換単位が決定される。前述のように、ビットストリームから獲得された符号化単位が、変換単位に分割されるか否かということを示す分割変換フラグsplit＿Transform＿flagに基づいて、符号化単位に含まれた変換単位の構造が決定される。また、変換単位の変換深度は、符号化単位を分割して変換単位まで至る分割回数に基づいて決定される。

【0221】

段階２７２０で、コンテクスト・モデラ２６１０は、ビットストリームから、変換単位に、０ではない変換係数が存在するか否かということを示す変換単位有効係数フラグを獲得する。

【0222】

段階２７３０で、コンテクスト・モデラ２６２０は、変換単位の変換深度に基づいて、変換単位有効係数フラグの算術復号化のためのコンテクストモデルを決定する。前述のように、コンテクスト・モデラ２６１０は、変換単位の大きさが符号化単位の大きさと同一である場合、すなわち、変換単位の変換深度が０である場合、及び変換単位の大きさが符号化単位の大きさより小さい場合、すなわち、変換単位の変換深度が０ではない場合、互いに異なるコンテクストモデルを決定することができる。具体的には、コンテクスト・モデラ２６１０は、変換単位の変換深度に基づいて、コンテクストモデル決定のためのコンテクスト増加パラメータｃｔｘＩｎｃを変化させることにより、変換単位の変換深度が０である場合と、変換単位の変換深度が０ではない場合との２つの場合を区別し、変換単位有効係数フラグのエントロピー符号化のためのコンテクストモデルを決定するためのコンテクストインデックスｃｔｘＩｄｘを変化させることができる。

【0223】

段階２７４０で、レギュラ・デコーディング部２６２０は、コンテクスト・モデラ２６１０から提供されるコンテクストモデルに基づいて、変換単位有効係数フラグを算術復号化する。

【0224】

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードで保存されて実行される。

【0225】

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で、当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれるものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】