特許 5735710 算術符号化を伴ったビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5735710

(24)【登録日】2015年4月24日

(45)【発行日】2015年6月17日

(54)【発明の名称】算術符号化を伴ったビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置

(51)【国際特許分類】

   H04N 19/13 20140101AFI20150528BHJP

   H04N 19/91 20140101ALI20150528BHJP

   H04N 19/176 20140101ALI20150528BHJP

   H04N 19/157 20140101ALI20150528BHJP

【ＦＩ】

   H04N19/13

   H04N19/91

   H04N19/176

   H04N19/157

【請求項の数】4

【全頁数】39

(21)【出願番号】特願2014-518796(P2014-518796)

(86)(22)【出願日】2012年6月27日

(65)【公表番号】特表2014-525166(P2014-525166A)

(43)【公表日】2014年9月25日

(86)【国際出願番号】KR2012005087

(87)【国際公開番号】WO2013002555

(87)【国際公開日】20130103

【審査請求日】2014年1月6日

(31)【優先権主張番号】61/502,038

(32)【優先日】2011年6月28日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】セレギン，ヴァディム

(72)【発明者】

【氏名】キム，イル−グ

【審査官】 川崎 優

(56)【参考文献】

【文献】 特表２０１４−５０４０７７（ＪＰ，Ａ）

【文献】 特表２０１４−５２０４５１（ＪＰ，Ａ）

【文献】 Sole,J.,et al，CE11: Parallel Context Processing for the significance map in high coding efficiency，Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 JCTVC-E338，２０１１年 ３月１７日，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E338-v3.zip

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−９８

(57)【特許請求の範囲】

【請求項1】

ビデオ復号化方法において、
変換ブロックの最終係数位置に対する情報を含むビットストリームを受信する段階と、
前記ビットストリームに対してコンテクスト-基盤-算術復号化を行うことによって、前記最終係数位置に対する情報のうち最終係数位置のプレフィックス二進列を獲得する段階と、
前記プレフィックス二進列が所定値を超える場合、前記ビットストリームからバイパスモードによりサフィックス二進列を獲得する段階と、
前記プレフィックス二進列に対してトランケーテッド単項二進化方式による逆二進化を行って逆二進化されたプレフィックスを獲得する段階と、
前記サフィックス二進列に対して固定長さ二進化方式による逆二進化を行って逆二進化されたサフィックスを獲得する段階と、
前記逆二進化されたプレフィックス及び前記逆二進化されたサフィックスを用いて前記変換ブロックの最終係数位置を示すシンボルを復元する段階を含み、
前記所定値と係わる前記プレフィックス二進列と前記サフィックス二進列の区分位置は前記変換ブロックのサイズに基づき決定された値であり、
前記逆二進化されたサフィックスは、前記変換ブロックの最終係数位置を示すシンボルから前記逆二進化されたプレフィックスを除いたレジデュアルであることを特徴とするビデオ復号化方法。

【請求項2】

前記最終係数位置の座標に対する情報は、前記変換ブロックの幅方向に最終係数位置のｘ座標に対する情報と前記変換ブロックの高さ方向への第２最終係数位置のｙ座標に対する情報を含み、
前記シンボルを復元する段階は、
前記最終係数位置のｘ座標に対する情報から生成された前記プレフィックス及び前記サフィックスを用いて前記最終係数位置のｘ座標シンボルを復元する段階と、
前記最終係数位置のｙ座標に対する情報から生成された前記プレフィックス及び前記サフィックスを用いて前記最終係数位置のｙ座標シンボルを復元する段階を含むことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項3】

前記ビデオ復号化方法は、
前記復元されたシンボルを用いて前記変換ブロックの最終係数位置を決定する段階と、
前記決定された最終係数位置を用いて前記変換ブロックの変換係数を復元する段階と、
前記復元された変換係数に対して逆量子化及び逆変換を行って前記変換ブロックのレジデュアルを復元する段階とを含むことを特徴とする請求項１に記載のビデオ復号化方法。

【請求項4】

ビデオ復号化装置において、
変換ブロックの最終係数位置に対する情報を含むビットストリームを受信する受信部と、
前記ビットストリームに対してコンテクスト-基盤-算術復号化を行うことによって、前記最終係数位置に対する情報のうち最終係数位置のプレフィックス二進列を獲得し、プレフィックス二進列が所定値を超える場合、前記ビットストリームからバイパスモードによりサフィックス二進列を獲得する算術復号化部と、
前記プレフィックス二進列に対してトランケーテッド単項二進化方式による逆二進化を行って逆二進化されたプレフィックスを獲得し、前記サフィックス二進列に対して固定長さ二進化方式による逆二進化を行って逆二進化されたサフィックスを獲得する逆二進化部と、
前記逆二進化されたプレフィックス及び前記逆二進化されたサフィックスを用いて前記変換ブロックの最終係数位置を示すシンボルを復元するシンボル復元部を備え、
前記所定値と係わる前記プレフィックス二進列と前記サフィックス二進列の区分位置は前記変換ブロックのサイズに基づき決定された値であり、
前記逆二進化されたサフィックスは、前記変換ブロックの最終係数位置を示すシンボルから前記逆二進化されたプレフィックスを除いたレジデュアルであることを特徴とするビデオ復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、算術符号化を伴うビデオ符号化及び復号化に関する。

【背景技術】

【0002】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された符号化方式によって符号化されている。

【0003】

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べて、周波数領域の係数は、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差として表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復的に生じるデータを小サイズのデータに置換することにより、データ量を節減している。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、シンボルをプレフィックス及びサフィックスのビット列に分類して算術符号化するビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を提案する。

【課題を解決するための手段】

【0005】

本発明の一実施形態によるシンボル復号化を介したビデオ復号化方法は、受信されたビットストリームから、映像ブロックのシンボルをパージングする段階と、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルをプレフィックスビット列とサフィックスビット列とに分類する段階と、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式によって算術復号化を行う段階と、前記算術復号化後、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって逆二進化を行う段階と、前記算術復号化及び前記逆二進化を介して復元された現在シンボルを利用して、前記現在ブロックに対して逆変換及び予測を遂行して映像ブロックを復元する段階と、を含む。

【発明の効果】

【0006】

ビデオ符号化及びビデオ復号化で行うシンボル符号化／復号化のためのコンテキスト基盤の算術符号化／復号化過程において、シンボルをプレフィックス領域及びサフィックス領域に区分し、サフィックス領域またはサフィックスビット列に対して演算負担が相対的に小さい二進化方式で行ったり、あるいはコンテキスト・モデリングを省略することにより、シンボル符号化／復号化プロセスの効率性が向上する。

【図面の簡単な説明】

【0007】

【図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。

【図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。

【図3】シンボルを、所定臨界値によって、プレフィックスビット列及びサフィックスビット列に分類して算術符号化する実施形態を図示する図面である。

【図4】シンボルを、所定臨界値によって、プレフィックスビット列及びサフィックスビット列に分類して算術符号化する実施形態を図示する図面である。

【図5】本発明の一実施形態によるビデオ符号化方法のフローチャートである。

【図6】本発明の一実施形態によるビデオ復号化方法のフローチャートである。

【図7】本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化装置のブロック図である。

【図8】本発明の一実施形態による、ツリー構造の符号化単位に基づいたビデオ復号化装置のブロック図である。

【図9】本発明の一実施形態による符号化単位の概念を図示する図面である。

【図10】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

【図11】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

【図12】本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。

【図13】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。

【図14】本発明の一実施形態による深度別符号化情報を図示する図面である。

【図15】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図16】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図17】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図18】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図19】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【発明を実施するための形態】

【0008】

本発明の一実施形態によるシンボル復号化を介したビデオ復号化方法は、受信されたビットストリームから、映像ブロックのシンボルをパージングする段階と、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルをプレフィックスビット列とサフィックスビット列とに分類する段階と、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式によって算術復号化を行う段階と、前記算術復号化後、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって逆二進化を行う段階と、前記算術復号化及び前記逆二進化を介して復元された現在シンボルを利用して、前記現在ブロックに対して逆変換及び予測を行って映像ブロックを復元する段階と、を含む。

【0009】

一実施形態によって、前記逆二進化を行う段階は、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって、それぞれ逆二進化を行い、前記シンボルのプレフィックス領域及びサフィックス領域を復元する段階を含んでもよい。

【0010】

一実施形態によって、前記算術復号化を行う段階は、前記プレフィックスビット列に対して、ビット位置別にコンテキスト・モデリングを決定する算術復号化を行う段階と、前記サフィックスビット列に対して、バイパスモードを適用し、前記コンテキスト・モデリングを省略する算術復号化を行う段階と、を含んでもよい。

【0011】

一実施形態によって、前記算術復号化を行う段階は、前記シンボルが変換係数の最終係数位置情報である場合、前記プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、前記算術復号化を行う段階を含んでもよい。

【0012】

一実施形態によって、前記現在シンボルは、前記現在ブロックのイントラ予測モード及び最終係数位置情報のうち少なくとも一つを含んでもよい。

【0013】

一実施形態によって、前記二進化方式は、単項二進化方式（unary binarization）、トランケーテッド単項二進化方式（truncated unary binarization）、指数ゴロム結合型二進化方式（exponential Golomb binarization）及び固定長二進化方式（fixed length binarization）にうち少なくともいずれか一つをさらに含んでもよい。

【0014】

本発明の一実施形態によるシンボル符号化を介したビデオ符号化方法は、映像のブロックに対して、予測及び変換を行ってシンボルを生成する段階と、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルをプレフィックス領域及びサフィックス領域に分類する段階と、前記プレフィックス領域と前記サフィックス領域とに対して、個別的に決定されたそれぞれの二進化方式を適用し、プレフィックスビット列とサフィックスビット列とを生成する段階と、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの算術符号化方式を適用し、シンボル符号化を行う段階と、前記シンボル符号化によって生成されたビット列を、ビットストリームの形態に出力する段階と、を含む。

【0015】

一実施形態によって、前記シンボル符号化を行う段階は、前記プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを遂行する算術符号化方式を適用し、前記シンボル符号化を行う段階と、前記サフィックスビット列に対して、バイパスモードを適用し、前記コンテキスト・モデリングを省略する算術符号化方式を適用し、前記シンボル符号化を行う段階と、を含んでもよい。

【0016】

一実施形態によって、前記シンボル符号化を行う段階は、前記シンボルが変換係数の最終係数位置情報である場合、前記プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、前記算術符号化を行う段階を含んでもよい。

【0017】

一実施形態によって、前記現在シンボルは、前記現在ブロックのイントラ予測モード及び最終係数位置情報のうち少なくとも一つを含んでもよい。

【0018】

一実施形態によって、前記二進化方式は、単項二進化方式、トランケーテッド単項二進化方式、指数ゴロム結合型二進化方式及び固定長二進化方式のうち少なくともいずれか一つをさらに含んでもよい。

【0019】

本発明の一実施形態によるシンボル復号化を介したビデオ復号化装置は、受信されたビットストリームから、映像ブロックのシンボルをパージングするパージング部と、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルのプレフィックスビット列とサフィックスビット列とに分類し、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式によって算術復号化を行った後、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって、それぞれ逆二進化を行うシンボル復号化部と、前記算術復号化及び逆二進化を介して復元された現在シンボルを利用して、前記現在ブロックに対して逆変換及び予測を行い、映像ブロックを復元する映像復元部と、を含む。

【0020】

本発明の一実施形態によるシンボル符号化を介したビデオ符号化装置は、映像のブロックに対して、予測及び変換を行ってシンボルを生成する映像符号化部と、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルのプレフィックスビット列とサフィックスビット列とに分類し、前記プレフィックス領域と前記サフィックス領域とに対して、個別的に決定されたそれぞれの二進化方式を適用し、プレフィックスビット列とサフィックスビット列とを生成し、前記プレフィックスビット列及び前記サフィックスビット列に対して、個別的に決定されたそれぞれの算術符号化方式を適用し、シンボル符号化を行うシンボル符号化部と、前記シンボル符号化によって生成されたビット列を、ビットストリームの形態に出力するビットストリーム出力部と、を含む。

【0021】

本発明の一実施形態によるビデオ復号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。本発明の一実施形態によるビデオ符号化方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体が開示される。

【0022】

以下、図１ないし図６を参照し、一実施形態によって、算術符号化を伴ったビデオ符号化技法及びビデオ復号化技法を開示する。また、図７ないし図１９を参照し、一実施形態によるツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法で算術符号化が行われる実施形態を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。

【0023】

まず、図１ないし図６を参照し、一実施形態によって、イントラ予測モードの予測方式に基づいたビデオ符号化技法及びビデオ復号化技法を開示する。

【0024】

図１は、本発明の一実施形態によるビデオ符号化装置１０のブロック図を図示している。

【0025】

ビデオ符号化装置１０は、空間領域のビデオデータを、イントラ予測／インター予測、変換、量子化、シンボル符号化を介して、符号化することができる。以下、ビデオ符号化装置１０が、イントラ予測／インター予測、変換、量子化を介して生成されたシンボルを、算術符号化を介してシンボル符号化する過程で生じる動作について説明する。

【0026】

一実施形態によるビデオ符号化装置１０は、映像符号化部１２、シンボル符号化部１４及びビットストリーム出力部１６を含む。

【0027】

一実施形態によるビデオ符号化装置１０は、ビデオの映像データを多数のデータ単位に分割し、データ単位別に符号化することができる。データ単位の形態は、正方形または長方形でもあり、任意の幾何学的形態でもある。決定された大きさのデータ単位に制限されるものではない。ツリー構造による符号化単位に基づいたビデオ符号化方式によれば、データ単位は、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式で、一実施形態による算術符号化／復号化方式が適用される例は、図７ないし図１９を参照して後述する。

【0028】

説明の便宜のために、以下データ単位の一種である「ブロック」に対するビデオ符号化技法について説明する。しかし、本発明の多様な実施形態によるビデオ符号化技法は、「ブロック」に対するビデオ符号化技法にのみ限定されるものであると解釈されるものではなく、多様なデータ単位にも適用される。

【0029】

映像符号化部１２は、映像のブロックに対して、イントラ予測／インター予測、変換、量子化などの動作を遂行してシンボルを生成する。

【0030】

シンボル符号化部１４は、ブロック別に生成されたシンボルのうち、現在シンボルのシンボルを符号化するために、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルのプレフィックス領域及びサフィックス領域を分類する。シンボル符号化部１４は、現在ブロックの幅及び高さのうち少なくとも一つに基づいて、現在シンボルのプレフィックス領域及びサフィックス領域を分類するための臨界値を決定することができる。

【0031】

シンボル符号化部１４は、シンボルのプレフィックス領域及びサフィックス領域に対して、個別的にシンボル符号化方式を決定し、プレフィックス領域及びサフィックス領域を、それぞれのシンボル符号化方式によって符号化することができる。

【0032】

シンボル符号化は、シンボルをビット列に変換する二進化過程と、ビット列に対して、コンテキスト基盤の算術符号化を行う算術符号化過程と、に分類することができる。シンボル符号化部１４は、シンボルのプレフィックス領域及びサフィックス領域に対して、個別的にそれぞれの二進化方式を決定し、プレフィックス領域及びサフィックス領域に対して、個別的にそれぞれの二進化方式によって二進化を行うことができる。プレフィックス領域からプレフィックスビット列が生成され、サフィックス領域からサフィックスビット列が生成される。

【0033】

または、シンボル符号化部１４は、シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的にそれぞれの算術符号化方式を決定し、プレフィックスビット列及びサフィックスビット列に対して、個別的にそれぞれの算術符号化方式によって、算術符号化を行うこともできる。

【0034】

また、シンボル符号化部１４は、シンボルのプレフィックス領域及びサフィックス領域に対して、個別的にそれぞれの二進化方式を決定して二進化を遂行し、プレフィックスビット列及びサフィックスビット列に対して、個別的にそれぞれの算術符号化方式を決定して算術符号化を行うこともできる。

【0035】

一実施形態によるシンボル符号化部１４は、プレフィックス領域及びサフィックス領域に対して、個別的に二進化方式を決定することができる。プレフィックス領域及びサフィックス領域に対して、個別的に決定された二進化方式は、互いに異なってもいる。

【0036】

シンボル符号化部１４は、プレフィックスビット列及びサフィックスビット列に対して、個別的にそれぞれの算術符号化方式を決定することができる。プレフィックスビット列及びサフィックスビット列に対して、個別的に決定された算術符号化方式は、互いに異なってもいる。

【0037】

従って、シンボル符号化部１４は、シンボルのシンボル復号化過程のうち、二進化過程に対してのみ、プレフィックス領域及びサフィックス領域を互いに異なる方式によって二進化したり、あるいは算術符号化過程に対してのみ、プレフィックスビット列及びサフィックスビット列を互いに異なる方式によって符号化することもできる。また、シンボル符号化部１４は、二進化過程及び算術符号化過程で、いずれもプレフィックス領域（プレフィックスビット列）及びサフィックス領域（サフィックスビット列）を互いに異なる方式によって符号化することもできる。

【0038】

一実施形態によって選択される二進化方式は、一般二進化方式だけでなく、単項二進化方式（unary binarization）、トランケーテッド単項二進化方式（truncated unary binarization）、指数ゴロム結合型二進化方式（exponential Golomb binarization）及び固定長二進化（fixed length binarization）のうち少なくともいずれか一つでもある。

【0039】

一実施形態によるシンボル符号化部１４は、プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを遂行する算術符号化方式を適用し、サフィックスビット列に対して、バイパスモードを適用して、コンテキスト・モデリングを省略する算術符号化方式を適用することにより、シンボルのシンボル符号化を行うこともできる。

【0040】

一実施形態によるシンボル符号化部１４は、イントラ予測モード及び変換係数の最終係数位置情報のうち少なくとも一つを含むシンボルに対して、プレフィックス領域及びサフィックス領域を分類し、個別的にシンボル符号化を行うことができる。

【0041】

一実施形態によるシンボル符号化部１４は、プレフィックスビット列に対して、事前に割り当てられた所定インデックスのコンテキストを利用して、算術符号化を行うこともできる。例えば、一実施形態によるシンボル符号化部１４は、シンボルが変換係数の最終係数位置情報である場合、プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、算術符号化を行うこともできる。

【0042】

ビットストリーム出力部１６は、シンボル符号化によって生成されたビット列を、ビットストリームの形態で出力する。

【0043】

従って、一実施によるビデオ符号化装置１０は、ビデオのブロックのシンボルを算術符号化して出力することができる。

【0044】

一実施形態によるビデオ符号化装置１０は、映像符号化部１２、シンボル符号化部１４及びビットストリーム出力部１６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、映像符号化部１２、シンボル符号化部１４及びビットストリーム出力部１６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、ビデオ符号化装置１０が全体的に作動することもできる。または、一実施形態によるビデオ符号化装置１０の外部プロセッサ（図示せず）の制御によって、映像符号化部１２、シンボル符号化部１４及びビットストリーム出力部１６が制御されもする。

【0045】

一実施形態によるビデオ符号化装置１０は、映像符号化部１２、シンボル符号化部１４及びビットストリーム出力部１６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

【0046】

一実施形態によるビデオ符号化装置１０は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連携して作動することにより、予測、変換を含んだビデオ符号化動作を遂行することができる。一実施形態によるビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ符号化装置１０、または中央演算装置、グラフィック演算装置が、ビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

【0047】

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。

【0048】

ビデオ復号化装置２０は、ビデオ符号化装置１０によって符号化されたビデオデータを、パージング、シンボル復号化、逆量子化、逆変換、イントラ予測／動き補償などを介して復号化し、空間領域の原本ビデオデータと近接したビデオデータを復元することができる。以下、ビデオ復号化装置２０が、ビットストリームからパージングされたシンボルに対して算術復号化を行い、シンボルを復元する過程について説明する。

【0049】

一実施形態によるビデオ復号化装置２０は、パージング部２２、シンボル復号化部２４及び映像復元部２６を含む。

【0050】

ビデオ復号化装置２０は、ビデオの符号化されたデータが収録されたビットストリームを受信することができる。パージング部２２は、ビットストリームから、映像ブロックのシンボルをパージングすることができる。

【0051】

一実施によるパージング部２２は、ビットストリームから、ビデオのブロックに対して、算術符号化を介して符号化されたシンボルをパージングすることができる。

【0052】

パージング部２２は、受信したビットストリームから、ビデオのブロックのイントラ予測モード、変換係数の最終係数位置情報などを含むシンボルをパージングすることができる。

【0053】

シンボル復号化部２４は、現在シンボルをプレフィックスビット列とサフィックスビット列とに分類するための臨界値を決定する。シンボル復号化部２４は、現在ブロックの大きさ、すなわち、幅及び高さのうち少なくとも一つに基づいて、プレフィックスビット列とサフィックスビット列とに分類するための臨界値を決定することができる。シンボル復号化部２４は、プレフィックスビット列及びサフィックスビット列に対して、個別的に算術復号化方式を決定する。シンボル復号化部２４は、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式を適用してシンボル復号化を行う。

【0054】

プレフィックスビット列及びサフィックスビット列に対して、個別的に決定された算術復号化方式は、互いに異なってもいる。

【0055】

シンボル復号化部２４は、シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に二進化方式を決定することができる。従って、シンボルのプレフィックスビット列に対して、個別的に決定された二進化方式によって、それぞれ逆二進化を行うことができる。プレフィックスビット列及びサフィックスビット列に対して、個別的に決定された二進化方式は、互いに異なってもいる。

【0056】

また、シンボル復号化部２４は、シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式を適用して、算術復号化を遂行し、算術復号化を介して生成されたプレフィックスビット列及びサフィックスビット列に対して、個別的に決定された二進化方式によって、それぞれ逆二進化を行うこともできる。

【0057】

従って、シンボル復号化部２４は、シンボルのシンボル復号化過程のうち、算術復号化過程に対してのみ、プレフィックスビット列及びサフィックスビット列を互いに異なる方式によって復号化したり、あるいは逆二進化過程に対してのみ、プレフィックスビット列及びサフィックスビット列を互いに異なる方式によって逆二進化することもできる。また、シンボル復号化部２４は、算術復号化過程及び逆二進化過程で、いずれもプレフィックスビット列及びサフィックスビット列を互いに異なる方式によって復号化することもできる。

【0058】

シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に決定される二進化方式は、一般二進化方式だけではなく、単項二進化方式、トランケーテッド単項二進化方式、指数ゴロム結合型二進化方式及び固定長二進化方式のうち少なくともいずれか一つでもある。

【0059】

シンボル復号化部２４は、プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを遂行する算術復号化方式を適用することができる。シンボル復号化部２４は、サフィックスビット列に対して、バイパスモードを適用して、コンテキスト・モデリングを省略する算術復号化方式を適用することができる。これにより、シンボル復号化部２４は、シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に行われる算術復号化を介して、シンボル復号化を行うことができる。

【0060】

シンボル復号化部２４は、イントラ予測モード及び変換係数の最終係数位置情報のうち少なくとも一つを含むシンボルに対して、プレフィックスビット列及びサフィックスビット列を分類して算術復号化を行うことができる。

【0061】

シンボル復号化部２４は、シンボルが変換係数の最終係数位置情報である場合、プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、算術復号化を行うことができる。

【0062】

映像復元部２６は、プレフィックスビット列及びサフィックスビット列に対して、個別的に算術復号化及び逆二進化を行った結果、シンボルのプレフィックス領域及びサフィックス領域を復元することができる。映像復元部２６は、シンボルのプレフィックス領域及びサフィックス領域を合成し、シンボルを復元することができる。

【0063】

映像復元部２６は、算術復号化及び逆二進化を介して復元された現在シンボルを利用して、現在ブロックに対して、逆変換及び予測を行う。映像復元部２６は、映像ブロックごとに当該シンボルを利用して、逆量子化、逆変換、イントラ予測／動き補償などの動作を遂行し、映像ブロックを復元することができる。

【0064】

一実施形態によるビデオ復号化装置２０は、パージング部２２、シンボル復号化部２４及び映像復元部２６を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、パージング部２２、シンボル復号化部２４及び映像復元部２６がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することによって、ビデオ復号化装置２０が全体的に作動することもできる。または、一実施形態によるビデオ復号化装置２０の外部プロセッサ（図示せず）の制御によって、パージング部２２、シンボル復号化部２４及び映像復元部２６が制御されもする。

【0065】

一実施形態によるビデオ復号化装置２０は、パージング部２２、シンボル復号化部２４及び映像復元部２６の入出力データが保存される一つ以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号化装置２０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。

【0066】

一実施形態によるビデオ復号化装置２０は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連携して作動することにより、逆変換を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサだけではなく、ビデオ復号化装置２０、または中央演算装置、グラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復号化動作を具現する場合も含んでもよい。

【0067】

シンボル符号化／復号化のために、コンテキストを基盤とする算術符号化／復号化方式として、ＣＡＢＡＣ（context-based adaptive binary arithmetic coding）などが広く利用されている。コンテキスト基盤の算術符号化／復号化によれば、シンボルビット列の各ビットが、コンテキストの各ビン（bin）になり、各ビット位置がビンインデックスにマッピングされる。ビット列長、すなわち、ビン長は、シンボル値の大きさによって変わる。コンテキスト基盤の算術符号化／復号化のためには、シンボルのコンテキストを決定するコンテキスト・モデリングが必要である。コンテキスト・モデリングのためには、シンボルビット列のビット位置ごとに、すなわち、それぞれのビンインデックスごとに、コンテキストを新たに更新するための複雑な演算過程が必要である。

【0068】

図１及び図２を参照して説明したビデオ符号化装置１０及びビデオ復号化装置２０によれば、シンボルをプレフィックス領域及びサフィックス領域に区分し、プレフィックス領域に比べて、サフィックス領域に対しては、相対的に簡単な二進化方式を適用することができる。また、プレフィックスビット列に対しては、コンテキスト・モデリングを介した算術符号化／復号化を行い、サフィックスビット列に対しては、コンテキスト・モデリングを省略するので、コンテキスト基盤の算術符号化／復号化のための演算量の負担が低減する。従って、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０は、シンボル符号化／復号化のためのコンテキスト基盤の算術符号化／復号化過程において、サフィックス領域またはサフィックスビット列に対して、演算負担が相対的に小さい二進化方式で行ったり、あるいはコンテキスト・モデリングを省略することにより、シンボル符号化／復号化プロセスの効率性を向上させることができる。

以下、一実施形態によるビデオ符号化装置１０及びビデオ復号化装置２０で具現可能な算術符号化のための多様な実施形態について説明する。

【0069】

図３及び図４は、それぞれシンボルを所定臨界値によって、プレフィックスビット列及びサフィックスビット列に分類して算術符号化する実施形態を図示している。

【0070】

図３を参照し、シンボルのうち、最終係数位置情報に対して、一実施形態によるシンボル符号化を行う過程について説明する。最終係数位置情報は、ブロックの変換係数のうち、０ではない最後の係数の位置を示すシンボルである。ブロックサイズが幅及び高さで定義されるので、最終係数位置情報は、幅方向のｘ座標値、高さ方向のｙ座標値の二次元座標で表現される。図３は、説明の便宜のために、ブロックの幅がｗである場合、最終係数位置情報のうち、幅方向のｘ座標値をシンボル符号化する方式を例示している。

【0071】

最終係数位置情報のｘ座標値の範囲は、ブロックの幅以内であるので、最終係数位置情報のｘ座標値は、０より大きいか、あるいは同じであり、（ｗ−１）より小さいか、あるいは同じである。一実施形態によるシンボルの算術符号化のために、シンボルを、所定臨界値ｔｈを基準に、プレフィックス領域及びサフィックス領域に分類することができる。これにより、プレフィックス領域が二進化されたプレフィックスビット列に対しては、コンテキスト・モデリングを介して決定されたコンテキストに基づいて、算術符号化が行われる。また、サフィックス領域が二進化されたサフィックスビット列に対しては、コンテキスト・モデリングを省略したバイパスモード（bypass mode）によって算術符号化が行われる。

【0072】

このとき、シンボルのプレフィックス領域及びサフィックス領域を分類するための臨界値ｔｈは、ブロック幅ｗに基づいて決定される。簡単な例として、臨界値ｔｈは、ビット列を半分にするため、｛（ｗ／２）−１｝と決定される（臨界値決定式１）。他の例として、ブロック幅ｗは、一般的に２の自乗値を有するので、臨界値ｔｈは、ｗのログ値を基に決定される（臨界値決定式２）。

【0073】

＜臨界値決定式１＞ｔｈ＝（ｗ／２）−１
＜臨界値決定式２＞ｔｈ＝（ｌｏｇ_２ｗ＜＜１）−１
図３で、ブロック幅ｗが８である場合、臨界値決定式１によれば、臨界値がｔｈ＝（８／２）−１＝３になるので、最終係数位置情報のｘ座標値のうち３は、プレフィックス領域に分類され、最終係数位置情報のｘ座標値のうち３を除いた残りの値は、サフィックス領域に分類される。プレフィックス領域及びサフィックス領域は、個別的に決定された二進化方式によって二進化される。

【0074】

現在最終係数位置情報のｘ座標値Ｎが５である場合、最終係数位置情報のｘ座標値は、Ｎ＝ｔｈ＋２＝３＋２に分類される。すなわち、最終係数位置情報のｘ座標値のうち３は、プレフィックス領域に、２は、サフィックス領域に分類される。

【0075】

一実施形態によって、プレフィックス領域及びサフィックス領域に対して、個別的に互いに異なる二進化方式によって二進化される。例えば、プレフィックス領域は、単項二進化方式によって、サフィックス領域は、一般二進化方式によって二進化される。

【0076】

従って、単項二進化方式によって、３を二進化した結果、プレフィックス領域から、プレフィックスビット列３２「０００１」が生成され、一般二進化方式によって、２を二進化した結果、サフィックス領域から、サフィックスビット列３４「０１０」が生成される。

【0077】

また、プレフィックスビット列３２「０００１」に対しては、コンテキスト・モデリングを介して、コンテキスト基盤の算術符号化が行われる。従って、「０００１」の各ビンごとに、コンテキストインデックスが決定される。

【0078】

サフィックスビット列３４「０１０」に対しては、バイパスモードによって、コンテキスト・モデリングなしに、算術符号化が行われる。バイパスモードは、各ビンごとに、同一の確率状態（equal probability state）、すなわち、５０％のコンテキストを有すると仮定し、コンテキスト・モデリングを省略したまま、算術符号化が行われる。

【0079】

従って、プレフィックスビット列３２「０００１」及びサフィックスビット列３４「０１０」に対して、個別的にコンテキスト基盤の算術符号化が行われることにより、現在最終係数位置情報のｘ座標値Ｎに対するシンボル符号化が完了する。

【0080】

また、先に、二進化及び算術符号化を経て、シンボル符号化する実施形態について説明したが、シンボル復号化も、同一原理で行われる。すなわち、パージングされたシンボルビット列は、ブロック幅ｗを基準に、プレフィックスビット列及びサフィックスビット列に分類され、プレフィックスビット列３２に対して、コンテキスト・モデリングを介した算術復号化が行われ、サフィックスビット列３４に対しては、コンテキスト・モデリングを省略したまま、算術復号化が行われる。算術復号化後のプレフィックスビット列３２に対しては、単項二進化方式によって、逆二進化が行われ、プレフィックス領域が復元され、算術符号化後のサフィックスビット列３４に対しては、一般二進化方式によって、逆二進化が行われ、サフィックス領域が復元される。復元されたプレフィックス領域及びサフィックス領域を合成することにより、シンボルが復元される。

【0081】

先に、プレフィックス領域（プレフィックスビット列）に対して、単項二進化方式が適用され、サフィックス領域（サフィックスビット列）に対して、一般二進化方式が適用される実施形態を開示したが、二進化方式は、それに制限されるものではない。他の例として、プレフィックス領域（プレフィックスビット列）に対しては、トランケーテッド単項二進化方式が適用され、サフィックス領域（サフィックスビット列）に対しては、固定長二進化方式が適用されもする。

【0082】

先に、ブロック幅の方向による最終係数位置情報に係わる実施形態だけ説明したが、ブロック高方向による最終係数位置情報についても、同じように、前記実施形態が適用される。

【0083】

また、固定された確率のコンテキストを利用して、算術符号化をするサフィックスビット列のためには、コンテキスト・モデリングが必要ないが、プレフィックスビット列に対しては、可変的なコンテキスト・モデリングが必要である。一実施形態によって、プレフィックスビット列のためのコンテキスト・モデリングは、ブロックサイズによって決定される。

【0084】

【表1】

前記コンテキストマッピングのための表０で、各数字の位置は、プレフィックスビット列のビンインデックスに対応し、数字は、当該ビット位置に適用されるコンテキストインデックスを意味する。説明の便宜のために、４ｘ４ブロックを例として挙げれば、プレフィックスビット列は、全４個のビットで構成され、コンテキスト・マッピング表によって、ｋが０、１、２、３であるとき、ｋ番目のビンインデックスに、それぞれコンテキスト・インデックス０,１，２，２が決定され、コンテキスト・モデリングを基に、算術符号化が行われる。

【0085】

図４は、lumaブロック及びchromaブロックのイントラ予測方向を示すlumaイントラモード及びchromaイントラモードを含むイントラ予測モードを、一実施形態によって算術符号化する実施形態を図示している。

【0086】

イントラ予測モードが６である場合、単項二進化方式によって、シンボルビット列４０「００００００１」が生成される。その場合、イントラ予測モードのシンボルビット列４０において、最初のビット４１「０」は、コンテキスト・モデリングを介して算術符号化され、ビット列４０において、残りビット４５「０００００１」は、バイパスモードで算術符号化される。すなわち、シンボルビット列４０において、最初のビット４１がプレフィックスビット列、残りのビット４５がサフィックスビット列に該当する。

【0087】

シンボルビット列４０において、いくつのビットがプレフィックスビット列として、コンテキスト・モデリングを介して算術符号化され、いくつのビットがサフィックスビット列として、バイパスモードで算術符号化されるかは、ブロックの大きさまたはブロック集合の大きさによって決定される。例えば、サイズ６４ｘ６４ブロックに対しては、イントラ予測モードのビット列のうち、最初のビットだけコンテキスト・モデリングを介して算術符号化され、残りのビットは、バイパスモードで算術符号化される。他の大きさのブロックに対しては、イントラ予測モードのビット列の全てがバイパスモードで算術符号化される。

【0088】

一般的に、シンボルビット列のうち、ＭＳＢ（most significant bit）に近いビットの情報が、ＬＳＢ（least significant bit）に近いビットの情報ほど相対的に重要ではない。従って、ビデオ符号化装置１０及びビデオ復号化装置２０は、ＭＳＢに近いプレフィックスビット列に対しては、演算量の負担があっても、さらに正確度が高い二進化方式を介した算術符号化方式を採択し、ＬＳＢに近いサフィックスビット列に対しては、簡単な演算が可能な二進化方式を介した算術符号化方式を採択することができる。また、ビデオ符号化装置１０及びビデオ復号化装置２０は、プレフィックスビット列に対しては、コンテキスト・モデリングを基にした算術符号化方式を採択し、ＬＳＢに近いサフィックスビット列に対しては、コンテキスト・モデリングが省略される算術符号化方式を採択することができる。

【0089】

以上、図３を参照し、変換係数の最終係数位置情報のプレフィックス／サフィックスビット列に対して、個別的に決定された方式でそれぞれ二進化し、それぞれ異なる方式で算術符号化する実施形態を開示した。また、図４を参照し、イントラ予測モードのビット列のうち、プレフィックス／サフィックスビット列に対して、それぞれ異なる方式で算術符号化する実施形態を開示した。

【0090】

しかし、本発明の多様な実施形態によって、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定された二進化／算術符号化方式を適用したり、あるいは異なる二進化／算術符号化方式を適用するシンボル符号化方式は、前記図３及び図４を参照して開示された実施形態に制限されるものではなく、多様なシンボルに対して、多様な二進化／算術符号化方式を適用する実施形態に拡張して適用される。

【0091】

図５は、本発明の一実施形態によるビデオ符号化方法のフローチャートを図示している。

【0092】

段階５１で、映像のブロックに対して、予測及び変換を行ってシンボルが生成される。

【0093】

段階５３で、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルがプレフィックス領域及びサフィックス領域に分類される。

【0094】

段階５５で、シンボルのプレフィックス領域及びサフィックス領域に対して、個別的に決定されたそれぞれの二進化方式を適用し、プレフィックスビット列とサフィックスビット列とが生成される。

【0095】

段階５７で、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術符号化方式を適用し、シンボル符号化が行われる。

【0096】

段階５９で、シンボル符号化によって生成されたビット列が、ビットストリームの形態で出力される。

【0097】

段階５７で、プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを遂行する算術符号化方式を適用し、サフィックスビット列に対して、バイパスモードを適用し、コンテキスト・モデリングを省略する算術符号化方式を適用し、シンボル符号化が行われる。

【0098】

段階５７で、シンボルが変換係数の最終係数位置情報である場合、プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、算術符号化が行われる。

【0099】

図６は、本発明の一実施形態によるビデオ復号化方法のフローチャートを図示している。

【0100】

段階６１で、受信されたビットストリームから、映像ブロックのシンボルがパージングされる。

【0101】

段階６３で、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルが、プレフィックスビット列とサフィックスビット列とに分類される。

【0102】

段階６５で、現在シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式によって算術復号化が行われる。

【0103】

段階６７で、算術復号化後、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって逆二進化が行われる。

【0104】

プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって、それぞれ逆二進化を行うことにより、シンボルのプレフィックス領域及びサフィックス領域が復元される。

【0105】

段階６９で、算術復号化及び逆二進化を介して復元された現在シンボルを利用して、現在ブロックに対して、逆変換及び予測が行われて映像ブロックが復元される。

【0106】

段階６５で、プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを決定する算術復号化が行われ、サフィックスビット列に対して、バイパスモードを適用し、コンテキスト・モデリングを省略する算術復号化が行われる。

【0107】

段階６５で、シンボルが変換係数の最終係数位置情報である場合、プレフィックスビット列のビット位置ごとに別途に、事前に割り当てられた所定インデックスのコンテキストを利用して、算術復号化が行われる。

【0108】

一実施形態によるビデオ符号化装置１０及び他の実施形態によるビデオ復号化装置２０で、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、符号化単位に対するイントラ予測のための予測単位が利用されて、変換のために変換単位が利用される場合があるということは、前述の通りである。以下、図７ないし図１９を参照し、一実施形態によるツリー構造の符号化単位、予測単位及び変換単位に基づいたビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置を開示する。

【0109】

図７は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。

【0110】

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約する。

【0111】

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

【0112】

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

【0113】

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

【0114】

最大符号化単位の高さ及び幅を階層的に分割することができる全回数を制限する最大深度及び符号化単位の最大サイズが事前に設定されている。

【0115】

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

【0116】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0117】

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位としても、それぞれのデータに係わる符号化誤差を測定して下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されることがあり、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

【0118】

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

【0119】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に、第２最大深度は、５に設定される。

【0120】

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

【0121】

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位について、予測符号化、及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

【0122】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたり、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。

【0123】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

【0124】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

【0125】

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

【0126】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

【0127】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

【0128】

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的に、さらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。

【0129】

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

【0130】

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

【0131】

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図７ないし図１９を参照し、詳細に後述する。

【0132】

符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

【0133】

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報をビットストリーム状に出力する。

【0134】

符号化された映像データは、映像の残差データの符号化結果でもある。

【0135】

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

【0136】

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上、下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0137】

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

【0138】

１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

【0139】

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

【0140】

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位のうちに含まれる最大サイズの正方形データ単位でもある。

【0141】

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのchroma成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

【0142】

ピクチャ、スライスまたはＧＯＰ（group of pictures）の別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどに挿入される。

【0143】

また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットなどを介して出力される。出力部１３０は、図１ないし図６を参照して説明した予測と係わる参照情報、予測情報、単一方向予測情報、第４スライスタイプを含むスライスタイプ情報などを符号化して出力することができる。

【0144】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

【0145】

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

【0146】

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0147】

図７のビデオ符号化装置１００は、図１を参照して説明したビデオ符号化装置１０の動作を遂行することができる。

【0148】

符号化単位決定部１２０は、ビデオ符号化装置１０の映像符号化部１２の動作を遂行することができる。最大符号化単位ごとに、ツリー構造による符号化単位別に、イントラ予測のための予測単位を決定し、予測単位ごとにイントラ予測を行い、変換のための変換単位を決定して変換単位ごとに変換を行うことができる。

【0149】

出力部１３０は、ビデオ符号化装置１０のシンボル符号化部１４及びビットストリーム出力部１６の動作を遂行することができる。ピクチャ、スライス、最大符号化単位、符号化単位、予測単位、変換単位など各種データ単位に係わるシンボルが生成され、各シンボルは、当該データ単位の大きさに基づいて決定された臨界値を基準に、プレフィックス領域及びサフィックス領域に分類される。出力部１３０は、シンボルのプレフィックス領域及びサフィックス領域に対して、個別的に決定されたそれぞれの二進化方式を適用し、プレフィックスビット列とサフィックスビット列とを生成することができる。プレフィックス領域及びサフィックス領域を二進化するために、それぞれ一般二進化方式、単項二進化方式、トランケーテッド単項二進化方式、指数ゴロム結合型二進化方式及び固定長二進化方式のうちいずれか一つを採択し、プレフィックスビット列とサフィックスビット列とが生成される。

【0150】

出力部１３０は、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術符号化方式を適用し、シンボル符号化が行われる。出力部１３０は、プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを遂行する算術符号化方式を適用し、サフィックスビット列に対して、バイパスモードを適用し、コンテキスト・モデリングを省略する算術符号化方式を適用し、シンボル符号化を行うことができる。

【0151】

例えば、変換単位の変換係数の最終係数位置情報を符号化する場合、プレフィックスビット列及びサフィックスビット列を分類するための臨界値は、変換単位の大きさ（幅または高さ）によって決定される。または、現在変換単位を含むスライス、最大符号化単位、符号化単位、予測単位などのサイズによって、前記臨界値が決定されもする。

【0152】

他の例として、イントラ予測モードのシンボルビット列のうち、いくつのビットが、プレフィックスビット列としてコンテキスト・モデリングを介して算術符号化され、いくつのビットが、サフィックスビット列としてバイパスモードで算術符号化されるかということは、イントラ予測モードの最大インデックスによって決定されもする。例えば、サイズ８ｘ８，１６ｘ１６，３２ｘ３２の予測単位については、全３４個のイントラ予測モードが利用され、サイズ４ｘ４の予測単位については、１７個のイントラ予測モードが利用され、サイズ６４ｘ６４の予測単位については、３個のイントラ予測モードが利用される。その場合、同一の個数のイントラ予測モードが利用される予測単位は、類似した統計的特性を有すると見なされるので、サイズ８ｘ８，１６ｘ１６，３２ｘ３２の予測単位に対するイントラ予測モードのビット列のうち、最初のビットは、コンテキスト・モデリングを介して算術符号化される。残りの場合、すなわち、サイズ４ｘ４，６４ｘ６４の予測単位については、イントラ予測モードのビット列のあらゆるビットがバイパスモードで算術符号化される。

【0153】

出力部１３０は、シンボル符号化によって生成されたビット列を、ビットストリームの形態で出力することができる。

【0154】

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。

【0155】

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約する。

【0156】

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図７及びビデオ符号化装置１００を参照して説明した通りである。

【0157】

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンス・パラメータ・セットまたはピクチャ・パラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

【0158】

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。

【0159】

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。

【0160】

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度、及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。

【0161】

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度、及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

【0162】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

【0163】

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

【0164】

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元することができる。

【0165】

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし、分割情報が現在深度であり、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

【0166】

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一の符号化モードで復号化する１つのデータ単位と見なされる。このように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

【0167】

また、図８のビデオ復号化装置２００は、図２を参照して説明したビデオ復号化装置２０の動作を遂行することができる。

【0168】

受信部２１０と、映像データ及び符号化情報抽出部２２０は、ビデオ復号化装置２０のパージング部２２及びシンボル復号化部２４の動作を遂行することができる。映像データ復号化部２３０は、ビデオ復号化装置２０の映像復元部２４の動作を遂行することができる。

【0169】

受信部２１０は、映像のビットストリームを受信し、映像データ及び符号化情報抽出部２２０は、受信されたビットストリームから、映像ブロックのシンボルをパージングする。

【0170】

映像データ及び符号化情報抽出部２２０は、現在ブロックの大きさに基づいて決定された臨界値を基準に、現在シンボルをプレフィックスビット列とサフィックスビット列とに分類することができる。例えば、変換単位の変換係数の最終係数位置情報を復号化する場合、プレフィックスビット列及びサフィックスビット列を分類するための臨界値は、変換単位の大きさ（幅または高さ）によって決定される。または、現在変換単位を含むスライス、最大符号化単位、符号化単位、予測単位などのサイズによって、前記臨界値が決定されもする。他の例として、イントラ予測モードのシンボルビット列のうち、いくつのビットが、プレフィックスビット列としてコンテキスト・モデリングを介して算術符号化され、いくつのビットが、サフィックスビット列としてバイパスモードで算術符号化されるかということは、イントラ予測モードの最大インデックスによって決定されもする。

【0171】

現在シンボルのプレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの算術復号化方式によって算術復号化が行われる。プレフィックスビット列に対して、ビット位置別に、コンテキスト・モデリングを決定する算術復号化が行われ、サフィックスビット列に対して、バイパスモードを適用し、コンテキスト・モデリングを省略する算術復号化が行われる。

【0172】

算術復号化後、プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって逆二進化が行われる。プレフィックスビット列及びサフィックスビット列に対して、個別的に決定されたそれぞれの二進化方式によって、それぞれ逆二進化を行うことにより、シンボルのプレフィックス領域及びサフィックス領域が復元される。

【0173】

映像データ復号化部２３０は、算術復号化及び逆二進化を介して復元された現在シンボルを利用して、現在ブロックに対して、逆変換及び予測を行い、映像ブロックを復元することができる。

【0174】

結局、ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0175】

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって効率的に映像データを復号化して復元することができる。

【0176】

図９は、本発明の一実施形態による符号化単位の概念を図示している。

【0177】

符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８、４ｘ４のパーティションに分割される。

【0178】

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図９に図示された最大深度は、最大符号化単位から最小符号化単位までの全て分割回数を示す。

【0179】

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

【0180】

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割され、深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割され、深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。

【0181】

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割され、深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。

【0182】

図１０は、本発明の一実施形態による、符号化単位に基づいた映像符号化部４００のブロック図を図示している。

【0183】

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

【0184】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

【0185】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

【0186】

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

【0187】

特に、エントロピ符号化部４５０は、シンボルを、所定臨界値によって、プレフィックス領域及びサフィックス領域に分類し、プレフィックス領域及びサフィックス領域に対して、それぞれ互いに異なる二進化方式及び算術符号化方式を適用し、プレフィックス領域及びサフィックス領域に対して、個別的にシンボル符号化を行うことができる。

【0188】

シンボルのプレフィックス領域及びサフィックス領域を分類する臨界値は、シンボルのデータ単位、すなわち、スライス、最大符号化単位、符号化単位、予測単位、変換単位などの大きさに基づいて決定される。

【0189】

図１１は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を図示している。

【0190】

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

【0191】

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

【0192】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

【0193】

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

【0194】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。

【0195】

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

【0196】

特に、エントロピ復号化部５２０は、パージングされたシンボルビット列を、所定臨界値によって、プレフィックスビット列及びサフィックスビット列に分類し、プレフィックスビット列及びサフィックスビット列に対して、それぞれ互いに異なる二進化方式及び算術復号化方式を適用し、プレフィックスビット列及びサフィックスビット列に対して、個別的にシンボル復号化を行うことができる。

【0197】

シンボルのプレフィックス領域及びサフィックス領域を分類する臨界値は、シンボルのデータ単位、すなわち、スライス、最大符号化単位、符号化単位、予測単位、変換単位などの大きさに基づいて決定される。

【0198】

図１２は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

【0199】

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。事前に設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

【0200】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

【0201】

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

【0202】

それぞれの深度別で横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が、予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

【0203】

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

【0204】

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

【0205】

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

【0206】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

【0207】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

【0208】

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別で比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

【0209】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って、深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

【0210】

図１３は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0211】

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

【0212】

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

【0213】

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

【0214】

図１４は、本発明の一実施形態による深度別符号化情報を図示している。

【0215】

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

【0216】

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。この場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

【0217】

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションがイントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるが設定される。

【0218】

また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

【0219】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。

【0220】

図１５は、本発明の一実施形態による深度別符号化単位を図示している。

【0221】

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

【0222】

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８のみが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

【0223】

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

【0224】

サイズ２Ｎ＿０ｘ２Ｎ＿０、２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。

【0225】

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していくことができる。

【0226】

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

【0227】

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していくことができる。

【0228】

最大深度がｄである場合、深度別符号化単位は、深度（ｄ−１）になるまで設定され、分割情報は、深度（ｄ−２）まで設定される。すなわち、深度（ｄ−２）から分割され（９７０）、深度（ｄ−１）まで符号化が行われる場合、深度（ｄ−１）及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

【0229】

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。

【0230】

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度（ｄ−１）と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度（ｄ−１）の符号化単位９５２に対して、分割情報は設定されない。

【0231】

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードとして設定される。

【0232】

このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

【0233】

一実施形態によるビデオ復号化装置２００の映像データ、及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

【0234】

図１６、図１７及び図１８は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

【0235】

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0236】

深度別符号化単位１０１０は、最大符号化単位の深度が０であるならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0237】

予測単位１０６０において、パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。

【0238】

変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０における当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行する。

【0239】

これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

【0240】

【表2】

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

【0241】

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位に、それ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

【0242】

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

【0243】

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

【0244】

変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

【0245】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

【0246】

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0247】

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

【0248】

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。

【0249】

図１９は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

【0250】

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

【0251】

変換単位分割情報ＴＵ size flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

【0252】

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４）が設定される。

【0253】

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報ＴＵ size flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0254】

図１９を参照して説明した変換単位分割情報ＴＵ size flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０，１，２，３，…などに増大させて変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用される。

【0255】

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

【0256】

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

【0257】

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことができないので、それ以上の変換単位分割情報が設定されることがない。

【0258】

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。

【0259】

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。

【0260】

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（2^MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比べ、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（2^MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」である。

【0261】

一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なりもする。

【0262】

例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズ、「ＰＵSize」は、現在予測単位サイズを示す。

【0263】

RootTuSize＝ｍｉｎ（MaxTransformSize，ＰＵSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。

【0264】

現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

【0265】

RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。

【0266】

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。

【0267】

図７ないし図１９を参照して説明されたツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されたり、あるいは記録媒体に保存されるか、あるいはネットワークを介して伝送される。

【0268】

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

【0269】

以上、本発明に対してその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】