特許 6673976 映像符号化単位に係わるイントラ予測モード決定方法及びその装置、並びに映像復号化単位に係わるイントラ予測モード決定方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6673976

(24)【登録日】2020年3月9日

(45)【発行日】2020年4月1日

(54)【発明の名称】映像符号化単位に係わるイントラ予測モード決定方法及びその装置、並びに映像復号化単位に係わるイントラ予測モード決定方法及びその装置

(51)【国際特許分類】

   H04N 19/11 20140101AFI20200323BHJP

   H04N 19/159 20140101ALI20200323BHJP

   H04N 19/176 20140101ALI20200323BHJP

   H04N 19/186 20140101ALI20200323BHJP

   H04N 19/46 20140101ALI20200323BHJP

   H04N 19/593 20140101ALI20200323BHJP

【ＦＩ】

   H04N19/11

   H04N19/159

   H04N19/176

   H04N19/186

   H04N19/46

   H04N19/593

【請求項の数】5

【全頁数】42

(21)【出願番号】特願2018-95524(P2018-95524)

(22)【出願日】2018年5月17日

(62)【分割の表示】特願2017-2772(P2017-2772)の分割

【原出願日】2011年4月5日

(65)【公開番号】特開2018-157580(P2018-157580A)

(43)【公開日】2018年10月4日

【審査請求日】2018年5月17日

(31)【優先権主張番号】10-2010-0031145

(32)【優先日】2010年4月5日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ミン，ジョン−ヘ

(72)【発明者】

【氏名】アルシナ，エレナ

(72)【発明者】

【氏名】ハン，ウ−ジン

【審査官】 坂東 大五郎

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

輝度予測単位のイントラ予測モードを指す第１情報をビットストリームから獲得する段階と、
前記輝度予測単位に対応する色差予測単位のイントラ予測モードを指す第２情報を前記ビットストリームから獲得する段階と、
前記輝度予測単位のイントラ予測モードに基づいて前記輝度予測単位に対するイントラ予測を行う段階と、
前記色差予測単位のイントラ予測モードに基づいて前記色差予測単位に対するイントラ予測を行う段階とを含み、
映像は、最大符号化単位の大きさに関する情報によって複数の最大符号化単位に分割され、
前記複数の最大符号化単位のうち１つの最大符号化単位は、分割情報に基づいて深度を有する多数の符号化単位で階層的に分割され、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形のデータ単位のうち１つであり、
前記分割情報が、前記現在深度から分割されることを示す場合、前記現在深度の符号化単位は、４つの下位深度の符号化単位に分割され、
前記分割情報が、前記現在深度から分割されないことを示す場合、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得され、
前記輝度予測単位は、前記現在深度の符号化単位から獲得された少なくとも１つの予測単位のうち１つであり、
前記輝度予測単位のイントラ予測モードは、複数の方向のうち特定方向を含み、前記特定方向は水平方向のｄｘ(ｄｘは整数)及び垂直方向のｄｙ(ｄｙは整数)によって指され、
前記色差予測単位のイントラ予測モードに適用可能なイントラ予測モードは、前記輝度予測単位のイントラ予測モードを含む複数のイントラ予測モードのうち１つであり、前記複数のイントラ予測モードは前記輝度予測単位のイントラ予測モードによって可変的であり、
前記色差予測単位に対するイントラ予測を行う段階は、
前記第２情報に基づいて、前記複数のイントラ予測モードのうち前記色差予測単位のイントラ予測モードを決定し、前記第２情報が前記輝度予測単位のイントラ予測モードを指示する場合、前記色差予測単位のイントラ予測モードを前記輝度予測単位のイントラ予測モードと決定することを特徴とする映像復号化方法。

【請求項2】

輝度予測単位のイントラ予測モードを指す第１情報及び前記輝度予測単位に対応する色差予測単位のイントラ予測モードを指す第２情報を獲得するエントロピ復号化部と、
前記輝度予測単位のイントラ予測モードに基づいて前記輝度予測単位に対するイントラ予測を行い、前記色差予測単位のイントラ予測モードに基づいて前記色差予測単位に対するイントラ予測を行うイントラ予測遂行部を備え、
前記輝度予測単位のイントラ予測モードは複数の方向のうち特定方向を含み、前記特定方向は水平方向のｄｘ(ｄｘは整数)及び垂直方向のｄｙ(ｄｙは整数)によって指され、
映像は、最大符号化単位の大きさに関する情報によって複数の最大符号化単位に分割され、
前記複数の最大符号化単位のうち１つの最大符号化単位は、分割情報に基づいて深度を有する多数の符号化単位で階層的に分割され、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形のデータ単位のうち１つであり、
前記分割情報が、前記現在深度から分割されることを示す場合、前記現在深度の符号化単位は、４つの下位深度の符号化単位に分割され、
前記分割情報が、前記現在深度から分割されないことを示す場合、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得され、
前記輝度予測単位は、前記現在深度の符号化単位から獲得された少なくとも１つの予測単位のうち１つであり、
前記色差予測単位のイントラ予測モードに適用可能なイントラ予測モードは、前記輝度予測単位のイントラ予測モードを含む複数のイントラ予測モードのうち１つであり、前記複数のイントラ予測モードは前記輝度予測単位のイントラ予測モードによって可変的であり、
前記イントラ予測遂行部は、前記第２情報に基づいて、前記複数のイントラ予測モードのうち前記色差予測単位のイントラ予測モードを決定し、前記第２情報が前記輝度予測単位のイントラ予測モードを指示する場合、前記色差予測単位のイントラ予測モードを前記輝度予測単位のイントラ予測モードと決定することを特徴とする映像復号化装置。

【請求項3】

輝度予測単位及び前記輝度予測単位に対応する色差予測単位に対するイントラ予測を行う段階と、
前記輝度予測単位のイントラ予測モードを示す第１情報及び前記色差予測単位のイントラ予測モードを示す第２情報を含むビットストリームを生成する段階と、を含み、
映像は、複数の最大符号化単位に分割され、前記ビットストリームは、最大符号化単位の大きさに係わる情報を含み、
前記複数の最大符号化単位のうち、１つの最大符号化単位は、深度を有する多数の符号化単位で階層的に分割され、前記最大符号化単位の階層的分割構造に係わる分割情報が前記ビットストリームに含まれ、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形データ単位の１つであり、
前記現在深度の符号化単位が４つの下位深度の符号化単位に分割される場合、前記現在深度の分割情報は、前記現在深度の分割を示すように設定され、
前記現在深度の符号化単位が分割されない場合、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得され、前記現在深度の分割情報は、前記現在深度の非分割を示すように設定され、
前記輝度予測単位は、前記現在深度の符号化単位から獲得された少なくとも１つの予測単位の１つであり、前記輝度予測単位のイントラ予測モードは、複数の方向のうち、特定方向を含み、前記特定方向は、水平方向のｄｘ（ｄｘは、整数）及び垂直方向のｄｙ（ｄｙは、整数）によって示され、
前記色差予測単位のイントラ予測モードに適用可能なイントラ予測モードは、前記輝度予測単位のイントラ予測モードを含む複数のイントラ予測モードの１つであり、前記複数のイントラ予測モードは、前記輝度予測単位のイントラ予測モードによって可変的であり、
前記複数のイントラ予測モードのうち、前記色差予測単位のイントラ予測モードを決定するための前記第２情報が生成され、前記色差予測単位のイントラ予測モードが前記輝度予測単位のイントラ予測モードと同一である場合、前記第２情報は、前記輝度予測単位のイントラ予測モードを示すように生成されることを特徴とする映像符号化方法。

【請求項4】

輝度予測単位及び前記輝度予測単位に対応する色差予測単位に対するイントラ予測を行うイントラ予測部と、
前記輝度予測単位のイントラ予測モードを示す第１情報及び前記色差予測単位のイントラ予測モードを示す第２情報を含むビットストリームを生成するエントロピー符号化部を含み、
映像は、複数の最大符号化単位に分割され、前記ビットストリームは、最大符号化単位の大きさに係わる情報を含み、
前記複数の最大符号化単位のうち、１つの最大符号化単位は、深度を有する多数の符号化単位で階層的に分割され、前記最大符号化単位の階層的分割構造に係わる分割情報が前記ビットストリームに含まれ、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形データ単位の１つであり、
前記現在深度の符号化単位が、４つの下位深度の符号化単位に分割される場合、前記現在深度の分割情報は、前記現在深度の分割を示すように設定され、
前記現在深度の符号化単位が分割されない場合、前記現在深度の符号化単位から少なくとも１つの予測単位が獲得され、前記現在深度の分割情報は、前記現在深度の非分割を示すように設定され、
前記輝度予測単位は、前記現在深度の符号化単位から獲得された少なくとも１つの予測単位の１つであり、前記輝度予測単位のイントラ予測モードは、複数の方向のうち、特定方向を含み、前記特定方向は水平方向のｄｘ（ｄｘは、整数）及び垂直方向のｄｙ（ｄｙは、整数）によって示され、
前記色差予測単位のイントラ予測モードに適用可能なイントラ予測モードは、前記輝度予測単位のイントラ予測モードを含む複数のイントラ予測モードの１つであり、前記複数のイントラ予測モードは、前記輝度予測単位のイントラ予測モードによって可変的であり、
前記複数のイントラ予測モードのうち、前記色差予測単位のイントラ予測モードを決定するための前記第２情報が生成され、前記色差予測単位のイントラ予測モードが前記輝度予測単位のイントラ予測モードと同一である場合、前記第２情報は、前記輝度予測単位のイントラ予測モードを示すように生成されることを特徴とする映像符号化装置。

【請求項5】

１つ以上のプロセッサが映像データに対応するビットストリームを生成する動作を行うように制御するコードを保存したコンピュータで読み取り可能な記録媒体を含む装置において、前記ビットストリームは、輝度予測単位のイントラ予測モードを示す第１情報及び前記輝度予測単位に対応する色差予測単位のイントラ予測モードを示す第２情報を含み、
前記プロセッサによって行われるコードは、映像を複数の最大符号化単位に分割し、前記ビットストリームに最大符号化単位の大きさに係わる情報を含める段階と、
前記複数の最大符号化単位のうち、１つの最大符号化単位を、深度を有する多数の符号化単位で階層的に分割し、前記最大符号化単位の階層的分割構造に係わる分割情報を前記ビットストリームに含める段階と、
現在深度の符号化単位が４つの下位深度の符号化単位に分割される場合、前記現在深度の分割情報が前記現在深度の分割を示すように設定する段階と、
前記現在深度の符号化単位が分割されない場合、前記現在深度の符号化単位から少なくとも１つの予測単位を獲得し、前記現在深度の分割情報が前記現在深度の非分割を示すように設定する段階と、
複数個のイントラ予測モードのうち、色差予測単位のイントラ予測モードを決定するための前記第２情報を生成し、前記色差予測単位のイントラ予測モードが前記輝度予測単位のイントラ予測モードと同一である場合、前記第２情報が前記輝度予測単位のイントラ予測モードを示すように生成する段階と、を含み、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形データ単位のうち、１つであり、
前記輝度予測単位は、前記現在深度の符号化単位から獲得された少なくとも１つの予測単位の１つであり、前記輝度予測単位のイントラ予測モードは、複数の方向のうち、特定方向を含み、前記特定方向は水平方向のｄｘ（ｄｘは、整数）及び垂直方向のｄｙ（ｄｙは、整数）によって示され、
前記色差予測単位のイントラ予測モードに適用可能なイントラ予測モードは、前記輝度予測単位のイントラ予測モードを含む複数のイントラ予測モードの１つであり、前記複数のイントラ予測モードは、前記輝度予測単位のイントラ予測モードによって可変的であることを特徴とする装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の符号化及び復号化に係り、さらに具体的には、輝度成分の映像符号化単位に対して既定のイントラ予測モードを適用し、色差成分の映像符号化単位に係わるイントラ予測を行う映像の符号化、復号化の方法及びその装置に関する。

【背景技術】

【0002】

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、１枚のピクチャをマクロブロックに分ける。そして、インタ予測及びイントラ予測で利用可能なすべての符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化に必要となるビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とによって符号化モードを一つ選択し、マクロブロックを符号化する。

【0003】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された予測モードによって符号化されている。また、既存のビデオコーデックにおいては、イントラモードの方向性が制限されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、多様な大きさの階層的符号化単位に基づいて、多様な方向性を有する輝度成分映像符号化単位のイントラ予測モード決定方法及び輝度成分映像符号化単位に対して、既定のイントラ予測モードを含む候補イントラ予測モードによって、色差成分符号化単位に係わるイントラ予測を行う映像符号化／復号化の方法及びその装置を提供する。

【課題を解決するための手段】

【0005】

本発明の一実施形態による映像符号化単位に係わるイントラ予測モード決定方法は、最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度に基づいて、輝度成分の現在ピクチャを、少なくとも１つの符号化単位に分割する段階と、前記分割された輝度成分の符号化単位のイントラ予測モードを決定する段階と、前記決定された輝度成分の符号化単位のイントラ予測モードを含む色差成分の符号化単位の候補イントラ予測モードを決定する段階と、前記決定された候補イントラ予測モードによる前記色差成分の符号化単位のコストを比較し、最小コストを有する色差成分の符号化単位のイントラ予測モードを決定する段階を含む。

【0006】

本発明の一実施形態による映像符号化単位のイントラ予測モード決定装置は、最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度に基づいて分割された輝度成分の符号化単位のイントラ予測モードを決定する輝度イントラ予測部；及び前記決定された輝度成分の符号化単位のイントラ予測モードを含む色差成分の符号化単位の候補イントラ予測モードによる前記色差成分の符号化単位のコストを比較し、最小コストを有する色差成分の符号化単位のイントラ予測モードを決定する色差イントラ予測部；を含む。

【0007】

本発明の一実施形態による映像復号化単位に係わるイントラ予測モード決定方法は、符号化されたビットストリームから、最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度情報を抽出する段階と、前記抽出された最大符号化単位及び深度に基づいて、復号化される現在ピクチャの輝度成分及び色差成分を復号化単位に分割する段階と、前記ビットストリームから、前記分割された輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を抽出する段階と、前記抽出されたイントラ予測モードによって、前記輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、前記復号化単位を復号化する段階と、を含む。

【0008】

本発明の一実施形態による映像復号化装置は、符号化されたビットストリームから、最大サイズを有する符号化単位である最大符号化単位、前記最大符号化単位の階層的分割情報である深度情報、復号化される現在輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を抽出するエントロピ復号化部；前記抽出されたイントラ予測モードによって、前記輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、前記輝度成分及び色差成分の復号化単位を復号化するイントラ予測遂行部と、を含む。

【発明の効果】

【0009】

本発明の実施形態によれば、多様な方向性を有する輝度成分映像符号化単位について、既定のイントラ予測モードを、色差成分映像符号化単位に係わるイントラ予測モードとして追加することにより、計算量の大きい増加なしに、色差成分映像の予測効率を上昇させ、全体的な映像の予測効率を向上させる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態による映像符号化装置のブロック図である。

【図2】本発明の一実施形態による映像復号化装置のブロック図である。

【図3】本発明の一実施形態による階層的符号化単位を図示する図面である。

【図4】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

【図5】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

【図6】本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。

【図7】本発明の一実施形態によって、符号化単位及び変換単位の関係を図示する図面である。

【図8】本発明の一実施形態によって、深度別符号化情報を図示する図面である。

【図9】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図10A】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図10B】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図11】本発明の一実施形態による符号化単位別符号化情報を図示する図面である。

【図12A】本発明の一実施形態による輝度成分映像及び色差成分映像のフォーマットを図示する図面である。

【図12B】本発明の一実施形態による輝度成分映像及び色差成分映像のフォーマットを図示する図面である。

【図12C】本発明の一実施形態による輝度成分映像及び色差成分映像のフォーマットを図示する図面である。

【図13】本発明の一実施形態による輝度成分映像の符号化単位の大きさによるイントラ予測モードの個数を図示する図面である。

【図14A】本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの一例について説明するための図面である。

【図14B】本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの一例について説明するための図面である。

【図14C】本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの一例について説明するための図面である。

【図15】本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの他の例について説明するための図面である。

【図16A】本発明の一実施形態による多様な方向性を有する輝度成分符号化単位のイントラ予測モードについて説明するための参照図である。

【図16B】本発明の一実施形態による多様な方向性を有する輝度成分符号化単位のイントラ予測モードについて説明するための参照図である。

【図16C】本発明の一実施形態による多様な方向性を有する輝度成分符号化単位のイントラ予測モードについて説明するための参照図である。

【図17】本発明の一実施形態による双線形モードについて説明するための参照図である。

【図18】本発明の一実施形態によって、現在輝度成分符号化単位のイントラ予測モードの予測値を生成する過程について説明するための図面である。

【図19A】本発明の一実施形態によって、互いに異なるサイズを有する輝度成分符号化単位間のイントラ予測モードのマッピング過程について説明するための参照図である。

【図19B】本発明の一実施形態によって、互いに異なるサイズを有する輝度成分符号化単位間のイントラ予測モードのマッピング過程について説明するための参照図である。

【図20】本発明の一実施形態によって、周辺輝度成分符号化単位のイントラ予測モードを代表イントラ予測モードのうち一つにマッピングする過程について説明するための参照図である。

【図21】本発明の一実施形態によって、色差成分符号化単位に適用される候補イントラ予測モードの一例について説明するための図面である。

【図22】本発明の一実施形態による映像のイントラ予測装置を示したブロック図である。

【図23】本発明の一実施形態による映像符号化単位のイントラ予測モード決定方法を示したフローチャトである。

【図24】本発明の一実施形態による映像復号化単位のイントラ予測モード決定方法を示したフローチャトである。

【図25】本発明の一実施形態によって、現在ピクセルと、（ｄｘ，ｄｙ）方向性を有する延長線上に位置した隣接ピクセルとの関係について説明するための図面である。

【図26】本発明の一実施形態によって、現在ピクセルの位置による、（ｄｘ，ｄｙ）方向性を有する延長線上に位置した隣接ピクセルの変化について説明するための図面である。

【図27】本発明の一実施形態によって、イントラ予測モード方向を決定する方法について説明するための図面である。

【図28】本発明の一実施形態によって、イントラ予測モード方向を決定する方法について説明するための図面である。

【発明を実施するための形態】

【0011】

以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、映像符号化方法及び映像復号化方法について説明する。

【0012】

ここで、「coding unit」とは、映像データが符号化端で符号化されるencoding data unit、及び映像データが復号化端で復号化されるencoded data unitを指すものとする。また、coded depthは、coding unitが符号化される深度を指すものとする。

【0013】

図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ出力部１３０及び符号化情報出力部１４０を含む。

【0014】

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化深度決定部１２０に出力される。

【0015】

本発明の一実施形態によれば、最大符号化単位及び深度を利用し、符号化単位が表現される。最大符号化単位は、現在ピクチャの符号化単位のうち、大きさが最大である符号化単位を示し、深度は、符号化単位が階層的に縮小されたサブ符号化単位の大きさを示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深度は、最小深度に定義され、最小符号化単位の深度は、最大深度に定義される。最大符号化単位は、深度が大きくなるにつれて、深度別符号化単位の大きさは小さくなるので、ｋ深度のサブ符号化単位は、ｋ＋１以上の深度を有する複数個のサブ符号化単位を含んでもよい。

【0016】

前述のような符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に縮小される符号化単位を含んでもよい。本発明の一実施形態による最大符号化単位は、深度別に縮小されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが、深度によって階層的に分類される。

【0017】

最大符号化単位から最上位符号化単位まで現在符号化単位の高さ及び幅を、階層的に縮小した総回数を制限する最大深度及び符号化単位の最大サイズが前もって設定される。このような最大符号化単位及び最大深度は、ピクチャ単位またはスライス単位で設定される。すなわち、ピクチャまたはスライスごとに異なる最大符号化単位及び最大深度を有し、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。このように、ピクチャまたはスライスごとに、最大符号化単位及び最大深度を可変的に設定可能にすることにより、平坦な領域の映像は、さらに大きい最大符号化単位を利用して符号化することによって圧縮率を向上させ、複雑度の大きい映像は、さらに小サイズの符号化単位を利用して、映像の圧縮効率を向上させることができる。

【0018】

符号化深度決定部１２０は、最大符号化単位ごとに異なる最大深度を決定する。最大深度は、Ｒ−Ｄコスト（rate-distortion cost）計算に基づいて決定される。決定された最大深度は、符号化情報出力部１４０に出力され、最大符号化単位別映像データは、映像データ出力部１３０に出力される。

【0019】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0020】

最大符号化単位の大きさは、深度が増大するにつれて、符号化単位が階層的に分割されて縮小され、符号化単位の個数は、増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位といっても、それぞれのデータに係わる符号化誤差を測定し、上位深度への縮小いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。言い換えれば、最大符号化単位は、異なる深度によって、異なるサイズのサブ符号化単位に分割される。１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって分割される。

【0021】

また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基づいて、予測または変換される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様な大きさ及び多様な形態の処理単位に基づいて行うことができる。映像データの符号化のためには、予測、変換、エントロピ符号化などの処理段階を経るが、すべての段階にわたって、同一サイズの処理単位を利用され、段階別に異なるサイズの処理単位を利用することができる。

【0022】

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。一例として、符号化単位の大きさが、２Ｎｘ２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどであってもよい。言い換えれば、符号化単位の高さまたは幅のうち、少なくとも一つを半分にする形態の処理単位を基に、動き予測が行われる。以下、予測の基になるデータ単位を、「予測単位」とする。

【0023】

予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つであり、特定予測モードは、特定のサイズまたは形態の予測単位についてのみ遂行される。例えば、イントラモードは、正方形である２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位についてのみ遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズの予測単位についてのみ遂行される。符号化単位内部に複数の予測単位があるなら、それぞれの予測単位について予測を行い、符号化誤差が最も小さい予測モードが選択される。

【0024】

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて、映像データを変換することができる。符号化単位の変換のために、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に変換が行われる。以下、変換の基になる処理単位を、「変換単位」とする。

【0025】

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して、深度別符号化単位の符号化誤差を測定し、最適の符号化誤差を有する最大符号化単位の分割形態を決定することができる。言い換えれば、符号化深度決定部１２０は、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるかを決定することができるが、ここで、複数のサブ符号化単位は、深度によって大きさが異なる。

【0026】

映像データ出力部１３０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位の映像データを符号化してビットストリームを出力する。符号化深度決定部１２０で、最小符号化誤差を測定するために、符号化がすでに行われたので、これを利用して符号化されたデータストリームを出力することもできる。

【0027】

符号化情報出力部１４０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位ごとに、深度別符号化モードについての情報を符号化し、ビットストリームを出力する。深度別符号化モードについての情報は、符号化深度情報、符号化深度の符号化単位の予測単位の分割タイプ情報、予測単位別予測モード情報、変換単位の大きさ情報などを含んでもよい。

【0028】

符号化深度情報は、現在深度で符号化せず、上位深度の符号化単位で符号化するか否かを示す深度別縮小情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の縮小情報は、それ以上上位深度に縮小されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、上位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の縮小情報は、上位深度の符号化単位で縮小されるように定義される。

【0029】

現在深度が符号化深度ではないならば、上位深度の符号化単位で縮小された符号化単位について符号化が行われる。現在深度の符号化単位内に、上位深度の符号化単位が一つ以上存在するので、それぞれの上位深度の符号化単位ごとに、反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

【0030】

１つの最大符号化単位内に、少なくとも１つの符号化深度が決定され、符号化深度ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に分割され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。

【0031】

従って、一実施形態による符号化情報出力部１４０は、最大符号化単位に含まれている最小符号化単位ごとに、当該符号化情報を設定することができる。すなわち、符号化深度の符号化単位は、同一の符号化情報を保有している最小符号化単位を一つ以上含んでいる。これを利用して、隣近最小符号化単位が、同一深度別符号化情報を有しているならば、同一の最大符号化単位に含まれる最小符号化単位であってもよい。

【0032】

映像符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層下位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度ｋの符号化単位の大きさが２Ｎｘ２Ｎであるならば、上位深度ｋ＋１の符号化単位の大きさは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの上位深度符号化単位を最大４個含んでいる。

【0033】

従って、一実施形態による映像復号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態分割形態を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。

【0034】

映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、従来の１６ｘ１６サイズのマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、本発明の一実施形態による映像符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0035】

図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、受信部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。

【0036】

受信部２１０は、映像復号化装置２００が受信したビット列をパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。受信部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位に係わる情報を抽出することができる。本発明の一実施形態による映像復号化装置２００は、最大符号化単位別に映像データを復号化する。

【0037】

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位別符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、符号化単位別予測単位の分割タイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別縮小情報が抽出されもする。

【0038】

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位に係わる情報を含み、符号化モードについての情報は、サブ符号化単位別予測単位に係わる情報、予測モードについての情報、及び変換単位に係わる情報などを含んでもよい。

【0039】

映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、並びに逆変換過程を含んでもよい。

【0040】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位別符号化深度情報に基づいて、映像データ復号化部２３０は、少なくとも１つの符号化深度の符号化単位ごとに、映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。

【0041】

映像データ復号化部２３０は、符号化単位別予測のために、符号化深度別符号化単位の予測単位の分割タイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれの予測単位及び予測モードで、イントラ予測または動き補償を行うことができる。また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位で逆変換を行うことができる。

【0042】

映像データ復号化部２３０は、深度別縮小情報を利用する現在最大符号化単位の符号化深度を決定することができる。もし縮小情報が現在深度で復号化することを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。すなわち、最小符号化単位について設定されている符号化情報を観察し、同一の縮小情報を含んだ符号化情報を保有している最小符号化単位を集め、１つのデータ単位で復号化することができる。

【0043】

一実施形態による映像復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で、映像データの復号化が可能になる。従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

【0044】

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８及び４ｘ４を含んでもよい。正方形の符号化単位以外にも、幅ｘ高さが、６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４、４ｘ８である符号化単位が存在しうる。

【0045】

図３で、ビデオデータ３１０については、解像度が１９２０ｘ１０８０、最大符号化単位の大きさが６４、最大深度が２に設定されている。また、ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が４に設定されている。また、ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が２に設定されている。

【0046】

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べて、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

【0047】

最大深度は、階層的符号化単位での総階層数を示す。従って、ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が２階層増加し、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が２であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、深度が２階層増加し、長軸サイズが８、４である符号化単位まで含んでもよい。

【0048】

ビデオデータ３２０の最大深度が４であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が４階層増加し、長軸サイズが３２、１６、８、４である符号化単位まで含んでもよい。深度が増大するほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、さらに細密な場面を含んでいる映像を符号化するのに適することとなる。

【0049】

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を示したものである。図４を参照すれば、イントラ予測部４１０は、現在フレーム４０５におけるイントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

【0050】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて、残差値が生成され、生成された残差値は、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。

【0051】

量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、再び残差値に復元され、復元された残差値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５０として出力される。

【0052】

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像符号化過程を処理する。特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、符号化単位の最大サイズ及び深度を考慮して、符号化単位内の予測単位及び予測モードを決定し、変換部４３０は、符号化単位の最大サイズ及び深度を考慮して、変換単位の大きさを決定しなければならない。また、後述するように、イントラ予測部４１０は、輝度成分の映像符号化単位について決定されたイントラ予測モードを、色差成分の映像符号化単位に適用し、イントラ予測を行うことにより、色差成分映像符号化単位に係わる予測効率を向上させる。

【0053】

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示したものである。図５を参照すれば、ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て残差値に復元される。残差値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。

【0054】

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部５００の構成要素である、パージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像復号化過程を処理する。特に、イントラ予測部５５０、動き補償部５６０は、符号化単位の最大サイズ及び深度を考慮して、符号化単位内の予測単位及び予測モードを決定し、逆変換部５４０は、符号化単位の最大サイズ及び深度を考慮して変換単位の大きさを決定しなければならない。

【0055】

図６は、本発明の一実施形態による深度別符号化単位及び予測単位を図示している。

【0056】

一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されもする。

【0057】

本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が増大するので、深度別符号化単位の高さ及び幅がそれぞれ縮小される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる部分的データ単位である予測単位が図示されている。

【0058】

最大符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が増大し、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

【0059】

さらに図６を参照すれば、それぞれの深度別に横軸に沿って、符号化単位の予測単位として、部分的データ単位が図示されている。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４の部分的データ単位６１０、サイズ６４ｘ３２の部分的データ単位６１２、サイズ３２ｘ６４の部分的データ単位６１４、サイズ３２ｘ３２の部分的データ単位６１６である。

【0060】

深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２の部分的データ単位６２０、サイズ３２ｘ１６の部分的データ単位６２２、サイズ１６ｘ３２の部分的データ単位６２４、サイズ１６ｘ１６の部分的データ単位６２６である。

【0061】

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６の部分的データ単位６３０、サイズ１６ｘ８の部分的データ単位６３２、サイズ８ｘ１６の部分的データ単位６３４、サイズ８ｘ８の部分的データ単位６３６である。

【0062】

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８の部分的データ単位６４０、サイズ８ｘ４の部分的データ単位６４２、サイズ４ｘ８の部分的データ単位６４４、サイズ４ｘ４の部分的データ単位６４６である。

【0063】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最上位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のデータ単位６５０である。

【0064】

一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

【0065】

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が増大するほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

【0066】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択されもする。また、符号化単位の階層構造６００の縦軸に沿って深度を増大させ、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度が、最大符号化単位６１０の符号化深度及び分割タイプに選択される。

【0067】

図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0068】

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位に映像を分割して、符号化したり復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

【0069】

図８は、本発明の一実施形態によって、深度別符号化情報を図示している。本発明の一実施形態による映像符号化装置１００の符号化情報出力部は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、分割タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。

【0070】

分割タイプについての情報８００は、現在符号化単位の動き予測のために、予測単位として、現在符号化単位が分割されたタイプについての情報を示す。例えば、深度０及びサイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、サイズＮｘＮの予測単位８０８のうち、いずれか１つのタイプに分割されて予測単位に利用される。この場合、現在符号化単位の分割タイプについての情報８００は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６及びサイズＮｘＮの予測単位８０８のうち一つを示すように設定される。

【0071】

予測モードについての情報８１０は、それぞれの予測単位の動き予測モードを示す。例えば、予測モードについての情報８１０を介して、分割タイプについての情報８００が示す予測単位が、イントラモード８１２、インターモード８１４及びスキップモード８１６のうちいずれか一つで動き予測が行われるが設定される。

【0072】

また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうちいずれか一つである。

【0073】

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部は、、それぞれの深度別符号化単位ごとに、分割タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。

【0074】

図９は、本発明の一実施形態による深度別符号化単位を図示している。

【0075】

深度の増加いかんを示すために、縮小（split）情報が利用される。縮小情報は、現在深度の符号化単位が、上位深度の符号化単位に縮小されるか否かを示す。

【0076】

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位の動き予測のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズの分割タイプ９１２、２Ｎ＿０ｘＮ＿０サイズの分割タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズの分割タイプ９１６、Ｎ＿０ｘＮ＿０サイズの分割タイプ９１８を含んでもよい。

【0077】

分割タイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズの予測単位、２つの２Ｎ＿０ｘＮ＿０サイズの予測単位、２つのＮ＿０ｘ２Ｎ＿０サイズの予測単位、４つのＮ＿０ｘＮ＿０サイズの予測単位ごとに、反復して動き予測を介した符号化が行われなければならない。サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０の予測単位については、イントラモード及びインターモードで動き予測が行われ、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０の予測単位では、インターモードでのみ動き予測が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０の予測単位についてのみ行われる。

【0078】

サイズＮ＿０ｘＮ＿０の分割タイプ９１８による符号化誤差が最も小さければ、深度０を１に増加（９２０）させ、深度２及びサイズＮ＿０ｘＮ＿０の分割タイプの符号化単位９２２，９２４，９２６，９２８に対して、反復して最小符号化誤差を検索して行くことができる。

【0079】

同一深度の符号化単位９２２，９２４，９２６，９２８に対して、符号化が反復して行われるので、このうち一つだけ、例えば、深度１の符号化単位の符号化について説明する。深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位の動き予測のための予測単位９３０は、サイズ２Ｎ＿１ｘ２Ｎ＿１の分割タイプ９３２、サイズ２Ｎ＿１ｘＮ＿１の分割タイプ９３４、サイズＮ＿１ｘ２Ｎ＿１の分割タイプ９３６、サイズＮ＿１ｘＮ＿１の分割タイプ９３８を含んでもよい。分割タイプごとに、１つのサイズ２Ｎ＿１ｘ２Ｎ＿１の予測単位、２つのサイズ２Ｎ＿１ｘＮ＿１の予測単位、２つのサイズＮ＿１ｘ２Ｎ＿１の予測単位、４つのサイズＮ＿１ｘＮ＿１の予測単位ごとに、反復して動き予測を介した符号化が行われなければならない。

【0080】

また、サイズＮ＿１ｘＮ＿１の分割タイプ９３８による符号化誤差が最も小さければ、深度１を深度２で増加（９４０）させつつ、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９４２，９４４，９４６，９４８に対して反復して、最小符号化誤差を検索して行くことができる。

【0081】

最大深度がｄである場合、深度別縮小情報は、深度ｄ−１になるまで設定される。すなわち、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位の動き予測のための予測単位９５０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の分割タイプ９５２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の分割タイプ９５４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の分割タイプ９５６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の分割タイプ９５８を含んでもよい。

【0082】

分割タイプごとに、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位ごとに、反復して動き予測を介した符号化が行われなければならない。最大深度がｄであるので、深度ｄ−１の符号化単位９５２は、それ以上縮小過程を経ない。

【0083】

本発明の一実施形態による映像符号化装置１００は、符号化単位９１２のための符号化深度を決定するために、深度別符号化誤差を比較して、最小の符号化誤差が発生する深度を選択する。例えば、深度０の符号化単位に係わる符号化誤差は、分割タイプ９１２，９１４，９１６，９１８ごとに動き予測を行って符号化した後、最小の符号化誤差が発生する予測単位が決定される。同様に、深度０，１，ｄ−１ごとに符号化誤差が最も小さい予測単位が検索される。深度ｄでは、サイズ２Ｎ＿ｄｘ２Ｎ＿ｄの符号化単位でありつつ、予測単位９６０を基にした動き予測を介して、符号化誤差が決定される。このように、深度０，１，ｄ−１，ｄのすべての深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択されて符号化深度として決定される。符号化深度及び当該深度の予測単位は、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで、符号化単位が縮小されなければならないので、符号化深度の縮小情報だけが「０」に設定され、符号化深度を除いた深度別縮小情報は、「１」に設定されなければならない。

【0084】

本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９１２に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態による映像復号化装置２００は、深度別縮小情報を利用して、縮小情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。

【0085】

図１０Ａ及び図１０Ｂは、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

【0086】

符号化単位１０１０は、最大符号化単位１０００について、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位であり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0087】

深度別符号化単位１０１０は、最大符号化単位１０００の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0088】

予測単位１０６０のうち一部（１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４）は、符号化単位が分割されたタイプである。すなわち、予測単位１０１４，１０２２，１０５０，１０５４は、２ＮｘＮの分割タイプであり、予測単位１０１６，１０４８，１０５２は、Ｎｘ２Ｎの分割タイプ、予測単位１０３２は、ＮｘＮの分割タイプである。すなわち、深度別符号化単位１０１０の予測単位は、それぞれの符号化単位より小さいか、あるいはそれと同じである。

【0089】

変換単位１０７０のうち一部（１０５２，１０５４）の映像データについては、符号化単位に比べて小サイズのデータ単位で、変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０中の当該予測単位と比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、同一の符号化単位に係わる予測及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。

【0090】

図１１は、本発明の一実施形態による符号化単位別符号化情報を図示している。

【0091】

本発明の一実施形態による映像符号化装置１００の符号化情報出力部１４０は、符号化単位別符号化情報を符号化し、本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位別符号化情報を抽出することができる。

【0092】

符号化情報は、符号化単位に係わる縮小情報、分割タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。図１１に図示されている符号化情報は、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００で設定することができる一例に過ぎず、図示されたところに限定されるものではない。

【0093】

縮小情報は、当該符号化単位の符号化深度を示すことができる。すなわち、縮小情報によってそれ以上縮小されない深度が符号化深度であるので、符号化深度について、分割タイプ情報、予測モード、変換単位サイズ情報が定義される。縮小情報によって、１段階さらに縮小されなければならない場合には、縮小された４個の上位深度の符号化単位ごとに、独立して符号化が行われなければならない。

【0094】

分割タイプ情報は、符号化深度の符号化単位の変換単位の分割タイプを、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ及びＮｘＮのうち一つで示すことができる。予測モードは、動き予測モードを、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモードは、分割タイプ２Ｎｘ２Ｎ及びＮｘＮでのみ定義され、スキップモードは、分割タイプ２Ｎｘ２Ｎでのみ定義される。変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。

【0095】

符号化単位内の最小符号化単位ごとに、属している符号化深度の符号化単位別符号化情報を収録している。従って、隣接した最小符号化単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、最小符号化単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0096】

以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０及び図５の映像復号化装置２００のイントラ予測部５５０で行われるイントラ予測について具体的に説明する。以下の説明で、符号化単位は、映像の符号化段階で指称される用語であり、映像の復号化段階の側面で符号化単位は、復号化単位と定義される。すなわち、符号化単位並びに復号化単位という用語は、映像の符号化段階及び復号化段階のうち、いずれの段階で指称されるかという違いがあるだけであり、符号化段階での符号化単位は、復号化段階での復号化単位と呼ばれもする。用語の統一性のために、特別な場合を除いては、符号化段階及び復号化段階で同一に、符号化単位として統一して呼ぶことにする。

【0097】

図１２Ａないし図１２Ｃは、本発明の一実施形態による輝度成分映像及び色差成分映像の符号化単位のフォーマットを図示している。

【0098】

１フレームを構成する各符号化単位は、Ｙ、Ｃｂ、Ｃｒからなる３つの成分を利用して表現される。Ｙは、明るさ情報を有する輝度（luminance）データであり、Ｃｂ及びＣｒは、色相情報を有する色差（chrominance）データである。

【0099】

一般的に肉眼は、色相情報よりは明るさ情報にさらに敏感であるという事実に基づいて、色差データは、輝度データに比べて少ない量のデータで表現されもする。図１２Ａを参照すれば、１つの符号化単位は、４：２：０フォーマットによる場合、ＨｘＷ（Ｈ及びＷは、正の整数）輝度データ（Ｙ）１２１０と、色差成分（Ｃｂ，Ｃｒ）を１／４にサンプリングした２つの（Ｈ／２）ｘ（Ｗ／２）サイズの色差データ（Ｃｂ，Ｃｒ）１２２０，１２３０とから構成される。図１２Ｂを参照すれば、１つの符号化単位は、４：２：２フォーマットによる場合、ＨｘＷ（Ｈ及びＷは、正の整数）輝度データ（Ｙ）１２４０と、色差成分（Ｃｂ，Ｃｒ）を水平方向に１／２サンプリングした２つのＨｘ（Ｗ／２）サイズの色差データ（Ｃｂ，Ｃｒ）１２５０，１２６０とから構成される。また、図１２Ｃを参照すれば、色差成分映像をさらに精密に表現するために、１つの符号化単位は、４：４：４フォーマットによる場合、色差成分に対するサンプリング過程なしに、輝度データ（Ｙ）１２７０と、色差データ（Ｃｂ，Ｃｒ）１２８０，１２９０は、いずれもＨｘＷサイズの映像データから構成される。

【0100】

以下の説明で、イントラ予測される輝度成分符号化単位及び色差成分符号化単位は、ＹＣｂＣｒ（またはＹＵＶ）色空間で定義される４：２：０、４：２：２及び４：４：４のカラーフォーマットの映像信号のうち、いずれか一つであると仮定する。

【0101】

本発明によれば、輝度成分と色差成分との相関関係を考慮し、輝度成分符号化単位について決定されたイントラ予測モードを、色差成分符号化単位に適用される候補イントラ予測モードに含めることによって、色差成分符号化単位に係わる予測効率を向上させることを特徴にする。

【0102】

図１３は、本発明の一実施形態による輝度成分映像符号化単位の大きさによるイントラ予測モードの個数を図示している。

【0103】

本発明の一実施形態によれば、輝度成分の符号化単位（復号化段階では、復号化単位）の大きさによって、輝度成分の符号化単位に適用するイントラ予測モードの個数を多様に設定することができる。一例として図１３を参照すれば、イントラ予測される輝度成分の符号化単位の大きさをＮｘＮとするとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８サイズの輝度成分符号化単位それぞれについて、実際に遂行されるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５個（Example２の場合）に設定される。他の例として、イントラ予測される輝度成分符号化単位の大きさがＮｘＮであるとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４及び１２８ｘ１２８サイズを有する符号化単位について、実際に行われるイントラ予測モードの個数は、それぞれ３，１７，３４，３４，３４，５，５個に設定される。このように、輝度成分符号化単位の大きさによって、実際に遂行されるイントラ予測モードの個数を差別化する理由は、輝度成分符号化単位の大きさによって、予測モード情報を符号化するためのオーバーヘッドが異なるからである。言い替えれば、小サイズの輝度成分符号化単位の場合、全体映像で占める部分が小さいにもかかわらず、かような小さい輝度成分符号化単位の予測モードの付加情報を伝送するためのオーバーヘッドが増加することがある。従って、小さい輝度成分符号化単位を、過度に多い予測モードで符号化する場合、ビット量が増加して圧縮効率が低下する。また、大サイズを有する輝度成分符号化単位、例えば、６４ｘ６４以上の大きさを有する輝度成分符号化単位は、一般的に、映像の平坦な領域に係わる符号化単位として選択される場合が多いから、かような平坦な領域を符号化するのに多く選択される大サイズの符号化単位を、過度に多い予測モードで符号化することも、圧縮効率側面で非効率的であるのである。

【0104】

従って、本発明の一実施形態によれば、輝度成分符号化単位が、Ｎ１ｘＮ１（２≦Ｎ１≦４、Ｎ１は整数）、Ｎ２ｘＮ２（８≦Ｎ２≦３２、Ｎ２は整数）、Ｎ３ｘＮ３（６４≦Ｎ３、Ｎ３は整数）の少なくとも３種の大きさに大別され、Ｎ１ｘＮ１サイズを有する輝度成分符号化単位ごとに行われるイントラ予測モードの個数を、Ａ１（Ａ１は、正の整数）、Ｎ２ｘＮ２サイズを有する輝度成分符号化単位ごとに行われるイントラ予測モードの個数を、Ａ２（Ａ２は、正の整数）、Ｎ３ｘＮ３サイズを有する輝度成分符号化単位ごとに行われるイントラ予測モードの個数を、Ａ３（Ａ３は正の整数）とするとき、Ａ３≦Ａ１≦Ａ２の関係を満足するように、各輝度成分符号化単位の大きさによって、遂行されるイントラ予測モードの個数を設定するのが望ましい。すなわち、現在ピクチャが、小サイズの輝度成分符号化単位、中間サイズの輝度成分符号化単位、大サイズの輝度成分符号化単位に大別される、中間サイズの輝度成分符号化単位が最も多い数の予測モードを有し、小サイズの輝度成分符号化単位及び大サイズの輝度成分符号化単位は、相対的にさらに少ない数の予測モードを有するように設定することが望ましい。ただし、これに限定されるものではなく、小サイズ及び大サイズの符号化単位についても、さらに多い数の予測モードを有するように設定することもできるであろう。図１３に図示された各符号化単位の大きさによる予測モードの個数は、一実施形態に過ぎず、各符号化単位の大きさによる予測モードの個数は、変更可能である。

【0105】

図１４Ａは、本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの一例について説明するための図面である。

【0106】

図１３及び図１４Ａを参照すれば、一例として、４×４サイズを有する輝度成分符号化単位のイントラ予測時に、垂直（vertical）モード（モード０）、水平（horizontal）モード（モード１）、ＤＣ（direct current）モード（モード２）、対角線左側（diagonal down−left）モード（モード３）、対角線右側（diagonal down−right）モード（モード４）、垂直右側（vertical−right）モード（モード５）、水平下側（horizontal−down）モード（モード６）、垂直左側（vertical−left）モード（モード７）及び水平上側（horizontal−up）モード（モード８）を有することができる。

【0107】

図１４Ｂは、図１４Ａのイントラ予測モードの方向を示す図面である。図１４Ｂで、矢印の先端の数字は、その方向に予測を行う場合の当該モード値を示す。ここで、モード２は、方向性のないＤＣ予測モードであって図示されていない。

【0108】

図１４Ｃは、図１４Ａに図示された輝度成分符号化単位に係わるイントラ予測方法を図示した図面である。

【0109】

図１４Ｃを参照すれば、輝度成分符号化単位の大きさによって決定された利用可能なイントラ予測モードによって、現在輝度成分符号化単位の周辺ピクセルであるＡ〜Ｍを利用して、予測符号化単位を生成する。例えば、図１４Ａのモード０、すなわち、垂直モードによって、４×４サイズの現在符号化単位を予測符号化する動作について説明する。まず、現在符号化単位の上側に隣接した画素ＡないしＤの画素値を、現在符号化単位の画素値として予測する。すなわち、画素Ａの値を、４×４現在符号化単位の最初の列に含まれた４個の画素値で、画素Ｂの値を、４×４現在符号化単位の２列目に含まれた４個の画素値で、画素Ｃの値を、４×４現在符号化単位の３列目に含まれた４個の画素値で、画素Ｄの値を、４×４現在符号化単位の４列目に含まれた４個の画素値で予測する。次に、前記画素ＡないしＤを利用して予測された４×４現在符号化単位を、本来の４×４現在符号化単位に含まれた画素の実際値から減算して誤差値を求めた後、その誤差値を符号化する。

【0110】

図１５は、本発明の一実施形態による所定サイズの輝度成分符号化単位に適用されるイントラ予測モードの他の例について説明するための図面である。図１３及び図１５を参照すれば、一例として、２×２サイズを有する符号化単位のイントラ予測時、垂直（vertical）モード、水平（horizontal）モード、ＤＣ（direct current）モード、プレーン（plane）モード及び対角線右側（diagonal down−right）モードの全５個のモードが存在する。

【0111】

一方、図１３に図示されたように、３２ｘ３２サイズを有する輝度成分符号化単位が、３３個のイントラ予測モードを有するとするとき、３３個のイントラ予測モードの方向を設定する必要がある。本発明の一実施形態では、図１４Ａないし図１４Ｃ及び図１５に図示されたようなイントラ予測モード以外に、多様な方向のイントラ予測モードを設定するために、輝度成分符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定する。一例として、３３個の予測モードを、それぞれmode Ｎ（Ｎは、０から３２までの整数）と定義するとき、mode ０は、垂直モード、mode １は、水平モード、mode ２は、ＤＣモード、mode ３は、プレーンモードに設定し、mode ４〜mode ３１それぞれは、次の表１に表記したような（１，−１）、（１，１）、（１，２）、（２，１）、（１，−２）、（２，１）、（１，−２）、（２，−１）、（２，−１１）、（５，−７）、（１０，−７）、（１１，３）、（４，３）、（１，１１）、（１，−１）、（１２，−３）、（１，−１１）、（１，−７）、（３，−１０）、（５，−６）、（７，−６）、（７，−４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，−７）、（４，−３）のうち１つの値で表現される（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードで定義することができる。

【0112】

【表1】

最後のmode３２は、図１６Ａないし図１６Ｃを利用して述べるように、双線形（bilinear）補間を利用する双線形モードに設定される。

【0113】

図１６Ａないし図１６Ｃは、本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。

【0114】

表１を参照して説明したような、本発明の一実施形態によるイントラ予測モードは、複数個の（ｄｘ，ｄｙ）パラメータを利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の多様な方向性を有することができる。

【0115】

図１６Ａを参照すれば、現在輝度成分符号化単位内部の予測しようとする現在ピクセルＰを中心に、表１に表記したモード別（ｄｘ，ｄｙ）の値によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０上に位置した周辺ピクセルＡ，Ｂを、現在ピクセルＰの予測子として利用することができる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在輝度成分符号化単位の上側及び左側の以前輝度成分符号化単位のピクセルであることが望ましい。また、延長線１６０が、整数位置の周辺ピクセルではない整数位置周辺ピクセル間を通過する場合、延長線１６０にさらに近い周辺ピクセルを、現在ピクセルＰの予測子として利用することができる。また、延長線１６０と、延長線１６０に近接した隣接ピクセルの交差点との間の距離を考慮した加重平均値を、現在ピクセルＰの予測子として利用することができる。また、図示されたように、延長線１６０と出合う上側の周辺ピクセルＡ、及び左側の周辺ピクセルＢの２つの周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在ピクセルＰの予測子として利用したり、あるいはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用して、ｄｘ＊ｄｙ値が負数である場合には、左側の周辺ピクセルＢを利用することができる。

【0116】

図１６Ｂ及び図１６Ｃは、図１６Ａの延長線１６０が、整数位置の周辺ピクセルではない、整数位置の隣接ピクセル間を通過する場合の予測子を生成する過程について説明するための参照図である。

【0117】

図１６Ｂを参照すれば、各モードの（ｄｘ，ｄｙ）によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０が、整数位置の隣接ピクセルＡ １６１と隣接ピクセルＢ １６２との間を通過する場合、前述のような延長線１６０に近い隣接ピクセルＡ １６１及びＢ １６２と、延長線１６０間の交差点との間の距離を考慮した加重平均値を、予測子として利用することができる。例えば、隣接ピクセルＡ １６１と、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０の交差点との間の距離をｆ、隣接ピクセルＢ １６２と、ｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０の交差点との間の距離をｇであるとすれば、現在ピクセルＰの予測子は、（Ａ＊ｇ＋Ｂ＊ｆ）／（ｆ＋ｇ）のように獲得される。ここで、ｆ及びｇは、整数を利用した正規化された距離であってもよい。ソフトウェアやハードウェアが利用される場合、現在ピクセルＰの予測子は、次の数学式：（ｇ＊Ａ＋ｆ＊Ｇ＋２）＞＞２のように、シフト演算によって獲得される。図１６Ｂに図示されたように、延長線１６０が、整数位置の隣接ピクセルＡ １６１と、隣接ピクセルＢ １６２との間の距離を４等分した地点のうち、隣接ピクセルＡ １６１に近い１／４地点を通る場合、現在ピクセルの予測子は、（３＊Ａ＋Ｂ）／４のように獲得される。かような演算は、四捨五入過程を考慮したシフト演算を利用して、（３＊Ａ＋Ｂ＋２）＞＞２のように行われる。

【0118】

一方、モード別（ｄｘ，ｄｙ）の値によって決定されるｔａｎ^−１（ｄｙ／ｄｘ）の角度を有する延長線１６０が、整数ピクセル位置の周辺ピクセルＡ １６１及びＢ １６２間を通過する場合、周辺ピクセルＡ １６１及び周辺ピクセルＢ １６２間の区間を所定個数に分割し、各分割された領域別に、周辺ピクセルＡ １６１及び周辺ピクセルＢ １６２と交差点との距離を考慮した加重平均値を予測値として利用することができる。例えば、図１６Ｃを参照すれば、周辺ピクセルＡ １６１及び周辺ピクセルＢ １６２間の区間を、図示されたように、５個の区間Ｐ１ないしＰ５に分離し、各区間別に、周辺ピクセルＡ １６１及び周辺ピクセルＢ １６２と交差地点との距離を考慮した代表加重平均値を決定し、かような代表加重平均値を、現在ピクセルＰの予測子として利用することができる。具体的には、延長線１６が区間Ｐ１を通過する場合、現在ピクセルＰの予測子として、周辺ピクセルＡの値を決定することができる。延長線１６０が、区間Ｐ２を通過する場合、区間Ｐ２の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（３＊Ａ＋１＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１６０が区間Ｐ３を通過する場合、区間Ｐ３の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（２＊Ａ＋２＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１６０が区間Ｐ４を通過する場合、区間Ｐ４の中間地点と、周辺ピクセルＡ及び周辺ピクセルＢとの距離を考慮した加重平均値である（１＊Ａ＋３＊Ｂ＋２）＞＞２を、現在ピクセルＰの予測子として決定することができる。延長線１６０が区間Ｐ５を通過する場合、現在ピクセルＰの予測子として、周辺ピクセルＢの値を決定することができる。

【0119】

また、図１６Ａに図示されたように、延長線１６０と出合う上側の周辺ピクセルＡ、及び左側の周辺ピクセルＢの２つの周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在ピクセルＰの予測子として利用したり、あるいはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用し、ｄｘ＊ｄｙ値が負数である場合には、左側の周辺ピクセルＢを利用することができる。また、参照ピクセルとして利用される周辺ピクセルは、原周辺ピクセルと、フィルタリングされた周辺ピクセルのうち選択されることは、前述の通りである。

【0120】

表１に表記されたような多様な方向性を有するイントラ予測モードは、符号化端と復号化端とで前もって設定され、各輝度成分符号化単位ごとに設定されたイントラ予測モードの当該インデックスだけが伝送されるようにすることが望ましい。

【0121】

図１７は、本発明の一実施形態による双線形モードについて説明するための参照図である。図１７を参照すれば、双線形（bi−linear ）モードで、現在輝度成分符号化単位内部の予測しようとする現在ピクセルＰを中心に、現在ピクセルＰ、その上下左右境界のピクセル値、及び現在ピクセルＰの上下左右境界までの距離を考慮した幾何平均値が計算される。幾何平均値は、現在ピクセルＰの予測子に利用される。例えば、双線形モードで、現在ピクセルＰの予測子として、現在ピクセルＰの上下左右境界に位置したピクセルＡ １７１、ピクセルＢ １７２、ピクセルＤ １７６及びピクセルＥ １７７と、現在ピクセルＰの上下左右境界までの距離の幾何平均値を利用する。双線形モードも、イントラ予測モードのうち一つであるので、予測時の参照ピクセルであって、以前に符号化された後で復元された上側と左側の周辺ピクセルを利用しなければならない。従って、ピクセルＡ １７１及びピクセルＢ １７２でもって、現在輝度成分符号化単位内部の当該ピクセル値をそのまま利用するのではなく、上側及び左側の周辺ピクセルを利用して生成された仮想のピクセル値を利用する。

【0122】

具体的には、まず、次の数式（１）のように、現在輝度成分符号化単位に隣接した上側最右側の周辺ピクセル（rightup pixel）１７４及び左側最下側の周辺ピクセル（leftdown pixel）１７５の平均値を計算することによって、現在輝度成分符号化単位の右側最下端位置の仮想のピクセルＣ １７３を計算する。

【0123】

Ｃ＝０．５（leftdown pixel＋rightup pixel） （１）
次の現在ピクセルＰの左側境界までの距離Ｗ１、及び右側境界までの距離Ｗ２を考慮し、現在ピクセルＰを下端に延ばしたとき、最下側境目に位置する仮想のピクセルＡ １６１の値を、次の数式２のように計算する。

【0124】

Ａ＝（Ｃ＊Ｗ１＋leftdown pixel＊Ｗ２）／（Ｗ１＋Ｗ２）
Ａ＝（Ｃ＊Ｗ１＋leftdown pixel＊Ｗ２＋（（Ｗ１＋Ｗ２）／２））／（Ｗ１＋Ｗ２） （２）
数式（２）で、Ｗ１＋Ｗ２の値が、２＾ｎのように、２の指数乗である場合、Ａ＝（Ｃ＊Ｗ１＋leftdown pixel＊Ｗ２＋（（Ｗ１＋Ｗ２）／２））／（Ｗ１＋Ｗ２）は、シフト演算を介して、除法演算なしに、次の数式：Ａ＝（Ｃ＊Ｗ１＋leftdown pixel＊Ｗ２＋２＾（ｎ−１））＞＞ｎのように計算される。

【0125】

同様に、現在ピクセルＰの上側境界までの距離ｈ１、及び下側境界までの距離ｈ２を考慮し、現在ピクセルＰを右側も延ばしたとき、最右側境目に位置する仮想のピクセルＢ １７２の値を、次の数式（３）のように計算する。

【0126】

Ｂ＝（Ｃ＊ｈ１＋rightup pixel＊ｈ２）／（ｈ１＋ｈ２）
Ｂ＝（Ｃ＊ｈ１＋rightup pixel＊ｈ２＋（（ｈ１＋ｈ２）／２））／（ｈ１＋ｈ２） （３）
ｈ１＋ｈ２の値が、２＾ｍのように、２の指数乗である場合、Ｂ＝（Ｃ＊ｈ１＋rightup pixel＊ｈ２＋（（ｈ１＋ｈ２）／２））／（ｈ１＋ｈ２）は、次の数式：Ｂ＝（Ｃ＊ｈ１＋rightup pixel＊ｈ２＋２＾（ｍ−１））＞＞ｍのように、除法演算なしに、シフト演算を介して計算される。

【0127】

現在ピクセルＰ １７０の右側境界の仮想ピクセルＢ １７２、及び下側境界の仮想ピクセルＡ １７１の値が、前述の数式１ないし３を介して決定されれば、現在ピクセルＰ １７０の予測子は、数式１ないし３を利用して、現在ピクセルＰ １７０の下側境界線上の仮想のピクセルＡ １７１、及び右側境界線上の仮想のピクセルＢ １７２の値が決定されれば、Ａ＋Ｂ＋Ｄ＋Ｅの平均値を利用して決定される。具体的には、現在ピクセルＰ １７０と、仮想のピクセルＡ １７１、仮想のピクセルＢ １７２、ピクセルＤ １７６及びピクセルＥ １７７との間の距離を考慮した加重平均値を利用することができる。例えば、ブロックサイズが１６ｘ１６であり、加重平均値を利用する場合、現在ピクセルＰの予測子は、（ｈ１＊Ａ＋ｈ２＊Ｄ＋Ｗ１＊Ｂ＋Ｗ２＊Ｅ＋１６）＞＞５のように獲得される。かような双線形予測過程は、現在符号化単位内部の全てのピクセルに対して適用され、双線形予測モードによる現在符号化単位の予測符号化単位が生成される。

【0128】

本発明の一実施形態によれば。輝度成分符号化単位の大きさによって、多様に設定されたイントラ予測モードによって予測符号化を行うことによって、映像の特性によって、さらに効率的な圧縮を可能にする。

【0129】

本発明の一実施形態によれば、符号化単位の大きさによって、従来codecで利用されるイントラ予測モードの個数に比べて、多い個数のイントラ予測モードを利用するから、従来codecとの互換性が問題になる。従来技術によれば、図１４Ａ及び図１４Ｂに図示されたように、最大９個のイントラ予測モードが利用可能である。従って、本発明の一実施形態によって選択された多様な方向のイントラ予測モードを、さらに少ない個数のイントラ予測モードのうち一つとマッピングさせる必要がある。すなわち、現在符号化単位の利用可能なイントラ予測モードの個数を、Ｎ１（Ｎ１は整数）とするとき、現在符号化単位の利用可能なイントラ予測モードと異なるＮ２（Ｎ２は整数）個のイントラ予測モードを有する所定サイズの符号化単位の互換のために、現在符号化単位のイントラ予測モードを、Ｎ２個のイントラ予測モードのうち最も類似した方向のイントラ予測モードにマッピングすることができる。例えば、現在符号化単位について、前述の表１のように、全３３個のイントラ予測モードが利用可能であり、現在符号化単位に最終的に適用されたイントラ予測モードは、mode １４、すなわち、（ｄｘ，ｄｙ）＝（４，３）である場合であり、ｔａｎ^−１（３／４）≒３６．８７°の方向性を有すると仮定する。この場合、現在ブロックに適用されたイントラ予測モードを、図１４Ａ及び図１４Ｂに図示されたような９個のイントラ予測モードのうち一つにマッチングさせるために、３６．８７°の方向性と最も類似した方向を有するmode ４（down_right）モードが選択される。すなわち、表１のmode １４は、図１４Ｂに図示されたmode ４にマッピングされる。同様に、現在符号化単位に適用されたイントラ予測モードが、表１の全３３個の利用可能なイントラ予測モードのうち、mode １５、すなわち、（ｄｘ，ｄｙ）＝（１，１１）である場合として選択された場合、現在符号化単位に適用されたイントラ予測モードの方向性は、ｔａｎ^−１（１１）≒８４．８０°を有するので、かような方向性と最も類似した図１４Ｂのmode ０（vertical）モードにマッピングされる。

【0130】

一方、イントラ予測を介して符号化された輝度成分符号化単位を復号化するためには、現在輝度成分符号化単位が、いかなるイントラ予測モードを介して符号化されたかについての予測モード情報が必要である。従って、映像の符号化時の現在輝度成分符号化単位のイントラ予測モードについての情報をビットストリームに付加するが、各輝度成分符号化単位ごとに、イントラ予測モード情報をそのままビットストリームに付加する場合、オーバーヘッドが増大して圧縮効率が低くなることがある。

【0131】

従って、本発明の一実施形態では、現在輝度成分符号化単位の符号化結果として決定された現在輝度成分符号化単位のイントラ予測モードについての情報を、そのまま伝送するのではなく、周辺輝度成分符号化単位から予測されたイントラ予測モードの予測値と、実際イントラ予測モードとの差値のみを伝送する。

【0132】

図１８は、本発明の一実施形態によって、現在輝度成分符号化単位のイントラ予測モードの予測値を生成する過程について説明するための図面である。図１８を参照すれば、現在輝度成分符号化単位をＡ １８０とするとき、現在輝度成分符号化単位Ａ １８０のイントラ予測モードは、周辺輝度成分符号化単位として決定されたイントラ予測モードから予測される。例えば、現在輝度成分符号化単位Ａ １８０の左側輝度成分符号化単位Ｂ １８１の決定されたイントラ予測モードがmode ３であり、上側輝度成分符号化単位Ｃ １８２のイントラ予測モードがmode ４であるとすれば、現在輝度成分符号化単位Ａ １８０のイントラ予測モードは、上側輝度成分符号化単位Ｃ １８２及び左側輝度成分符号化単位Ｂ １８１の予測モードのうち、小さい値を有するmode ３に予測される。もし現在輝度成分符号化単位Ａ １８０に対する実際イントラ予測符号化の結果として決定されたイントラ予測モードがmode ４であるならば、イントラ予測モード情報として、周辺輝度成分符号化単位から予測されたイントラ予測モードの値であるmode ３との差である１のみを伝送し、復号化時に、前述のところと同一の方法で、現在輝度成分復号化単位のイントラ予測モードの予測値を生成し、ビットストリームを介して伝送されたモード差値を、イントラ予測モードの予測値に加算し、現在輝度成分復号化単位に実際適用されたイントラ予測モード情報を獲得することができる。前述の説明では、現在輝度成分符号化単位の上側及び左側に位置した周辺符号化単位のみを利用することを中心に説明したが、それ以外にも、図１８のＥ及びＤのような他の周辺輝度成分符号化単位を利用して、現在輝度成分符号化単位Ａ １８０のイントラ予測モードを予測することができるであろう。前述の輝度成分符号化単位のイントラ予測モード過程は、後述する色差成分符号化単位について決定されたイントラ予測モードを予測するところにも適用される。

【0133】

一方、輝度成分符号化単位の大きさによって、実際行われるイントラ予測モードが異なるから、周辺輝度成分符号化単位から予測されたイントラ予測モードは、現在輝度成分符号化単位のイントラ予測モードとマッチングされないこともある。従って、互いに異なるサイズを有する周辺輝度成分符号化単位から、現在輝度成分符号化単位のイントラ予測モードを予測するためには、互いに異なるイントラ予測モードを有する輝度成分符号化単位間のイントラ予測モードを統一させるマッピング（mapping）過程が必要である。

【0134】

図１９Ａ及び図１９Ｂは、本発明の一実施形態によって、互いに異なるサイズを有する輝度成分符号化単位間のイントラ予測モードのマッピング過程について説明するための参照図である。

【0135】

図１９Ａを参照すれば、現在輝度成分符号化単位Ａ １９０は、１６ｘ１６サイズ、左側輝度成分符号化単位Ｂ １９１は、８ｘ８サイズ、上側輝度成分符号化単位Ｃ １９２は、４ｘ４サイズを有すると仮定する。また、前述の図１３のように、４ｘ４，８ｘ８，１６ｘ１６サイズの輝度成分符号化単位として利用可能なイントラ予測モードの個数は、それぞれ９，９，３３個と違いがあると仮定する。この場合、左側輝度成分符号化単位Ｂ １９１及び上側輝度成分符号化単位Ｃ １９２として利用可能なイントラ予測モードと、現在輝度成分符号化単位Ａ １９０として利用可能なイントラ予測モードとは異なるから、左側輝度成分符号化単位Ｂ １９１及び上側輝度成分符号化単位Ｃ １９２から予測されたイントラ予測モードは、現在輝度成分符号化単位Ａ １９０のイントラ予測モードの予測値として利用するのに適さない。従って、本発明の一実施形態によれば、周辺輝度成分符号化単位Ｂ １９１及び周辺輝度成分符号化単位Ｃ １９２のイントラ予測モードを、所定個数の代表イントラ予測モードのうち最も類似した方向の第１代表イントラ予測モード及び第２代表イントラ予測モードにそれぞれ変更し、第１代表イントラ予測モード及び第２代表イントラ予測モードのうち、さらに小さいモード値を有する最終的な代表イントラ予測モードとして選択する。そして、現在輝度成分符号化単位Ａ １９０の大きさによって、利用可能なイントラ予測モードのうち選択された代表イントラ予測モードと最も類似した方向を有するイントラ予測モードを、現在輝度成分符号化単位のイントラ予測モードとして予測する。

【0136】

他の例として、図１９Ｂを参照すれば、現在輝度成分符号化単位Ａは、１６ｘ１６サイズ、左側輝度成分符号化単位Ｂは、３２ｘ３２サイズ、上側輝度成分符号化単位Ｃは、８ｘ８サイズを有すると仮定する。また、８ｘ８，１６ｘ１６，３２ｘ３２サイズの輝度成分符号化単位として利用可能なイントラ予測モードの個数は、それぞれ９，９，３３個と仮定する。また、左側輝度成分符号化単位Ｂのイントラ予測モードをmode＿４、上側輝度成分符号化単位Ｃのイントラ予測モードをmode＿３１であると仮定する。この場合、左側輝度成分符号化単位Ｂと、上側輝度成分符号化単位Ｃのイントラ予測モードは、互換されないから、左側輝度成分符号化単位Ｂと、上側輝度成分符号化単位Ｃのイントラ予測モードを、それぞれ図２０に図示されたような代表イントラ予測モードのうち一つにマッピングする。表１に記載したように。左側輝度成分符号化単位Ｂのイントラ予測モードであるmode＿３１は、（ｄｘ，ｄｙ）＝（４，−３）の方向性を有するから、図２０の代表イントラ予測モードのうち、ｔａｎ^−１（−３／４）と最も類似した方向性を有するmode＿５にマッピングされ、上側輝度成分符号化単位Ｃのイントラ予測モードであるmode＿４は、図２０の代表イントラ予測モードのうち、mode＿４と同一の方向性を有するので、そのままmode＿４にマッピングされる。

【0137】

左側輝度成分符号化単位Ｂのマッピングされたイントラ予測モードmode＿５と、上側輝度成分符号化単位Ｃのマッピングされたイントラ予測モードmode＿４のうち、さらに小さいモード値を有するmode＿４が、現在輝度成分符号化単位のイントラ予測モードの予測値として決定され、現在輝度成分符号化単位の実際イントラ予測モードと、予測されたイントラ予測モードとのモード差値だけが、現在輝度成分符号化単位の予測モード情報として符号化される。

【0138】

図２０は、本発明の一実施形態によって、周辺輝度成分符号化単位のイントラ予測モードを、代表イントラ予測モードのうち一つにマッピングする過程について説明するための参照図である。図２０では、代表イントラ予測モードとして、垂直モード０、水平モード１、ＤＣ（direct current）モード２、対角線左側モード３、対角線右側モード４、垂直右側モード５、垂直左側モード６、水平上側モード７及び水平下側モード８が設定された場合を図示している。しかし、代表イントラ予測モードは、図示されたところに限定されるものではなく、多様な個数の方向性を有するように設定される。

【0139】

図２０を参照すれば、前もって、所定個数の代表イントラ予測モードを設定し、周辺輝度成分符号化単位のイントラ予測モードを、最も類似した方向の代表イントラ予測モードにマッピングする。例えば、上側輝度成分符号化単位Ａの決定されたイントラ予測モードが、MODE＿Ａ ２００と図示された方向性を有せば、上側輝度成分符号化単位Ａのイントラ予測モードMODE＿Ａ ２００は、９個の既設定の代表イントラ予測モード１ないし９のうち最も類似した方向を有するMODE １にマッピングされる。同様に、左側輝度成分符号化単位Ｂの決定されたイントラ予測モードが、MODE＿Ｂ ２０１と図示された方向性を有せば、左側輝度成分符号化単位Ｂのイントラ予測モードMODE＿Ｂ １９１は、９個の既設定の代表イントラ予測モード１ないし９のうち、最も類似した方向を有するMODE ５にマッピングされる。

【0140】

次に、第１代表イントラ予測モード及び第２代表イントラ予測モードのうちさらに小さいモード値を有するイントラ予測モードが、最終的な周辺輝度成分符号化単位の代表イントラ予測モードに選択される。このように、さらに小さいモード値を有する代表イントラ予測モードを選択する理由は、一般的にさらに頻繁に発生するイントラ予測モードに、さらに小さいモード値が設定されているからである。すなわち、周辺輝度成分符号化単位から、互いに異なるイントラ予測モードが予測された場合、さらに小さいモード値を有するイントラ予測モードが、さらに発生確率が大きい予測モードであるから、互いに異なる予測モードが競合する場合、現在輝度成分符号化単位の予測モードの予測子として、さらに小さいモード値を有する予測モードを選択することが望ましい。

【0141】

周辺輝度成分符号化単位から、代表イントラ予測モードが選択されても、代表イントラ予測モードを、現在輝度成分符号化単位のイントラ予測モードの予測子としてそのまま利用することができない場合がある。前述の図１９Ａ及び図１９Ｂのように、現在輝度成分符号化単位Ａ １９０が、３３個のイントラ予測モードを有し、代表イントラ予測モードは、ただ９個のイントラ予測モードを有するならば、代表イントラ予測モードに対応する現在輝度成分符号化単位Ａ １９０のイントラ予測モードは、存在しない。かような場合、前述の周辺輝度成分符号化単位のイントラ予測モードを、代表イントラ予測モードにマッピングするところと同様に、現在輝度成分符号化単位の大きさによるイントラ予測モードのうち、選択された代表イントラ予測モードと最も類似した方向を有するイントラ予測モードを、現在輝度成分符号化単位のイントラ予測モード予測子として最終的に選択することができる。例えば、図２０で、周辺輝度成分符号化単位から、最終的に選択された代表イントラ予測モードがMODE １であるとするならば、現在輝度成分符号化単位の大きさによって、利用可能なイントラ予測モードのうち、MODE １と最も類似した方向性を有するイントラ予測モードが、現在輝度成分符号化単位のイントラ予測モードの予測子として最終選択される。

【0142】

一方、前述の図１６Ａないし図１６Ｃを参照して説明したように、延長線１６０に位置するか、あるいは延長線１６０に近い周辺ピクセルを利用して、現在ピクセルＰの予測子を生成する場合、延長線１６０は、実際にｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有するが、かような方向性を計算するためには、（ｄｙ／ｄｘ）の除法演算が必要であるから、ハードウェアやソフトウェアで具現するとき、小数点演算を含むことになり、演算量を増加させる要因になる。従って、本発明の他の実施形態によれば、前述の表１に記載したところと同様に、符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定するとき、演算量を減少させることができるように、ｄｘ，ｄｙを設定する過程を開示する。

【0143】

図２５は、本発明によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在ピクセルとの関係について説明するための図面である。図２５を参照すれば、現在ピクセルＰの位置をＰ（ｊ，ｉ）、現在ピクセルＰを通過するｔａｎ^−１（ｄｙ／ｄｘ）の方向性、すなわち、勾配を有する延長線２５１０上に位置した上側周辺ピクセルをＡ、左側周辺ピクセルをＢと定義する。上側周辺ピクセルの位置が座標平面上のｘ軸に該当し、左側周辺ピクセルの位置が座標平面上のｙ軸に該当すると仮定するとき、延長線２５１０は、上側周辺ピクセルＡが（ｊ＋ｉ＊ｄｘ／ｄｙ，０）、左側周辺ピクセルＢが（０，、ｉ＋ｊ＊ｄｙ／ｄｘ）上に位置することになる。従って、現在ピクセルＰの予測のために、上側周辺ピクセルＡまたは左側周辺ピクセルＢのうちいずれか一つを決定するためには、ｄｘ／ｄｙまたはｄｙ／ｄｘのような除法演算が必要である。かような除法演算は、演算複雑度が高いので、ソフトウェアまたはハードウェアでの具現時に、演算速度の低下をもたらすことがある。

【0144】

従って、周辺ピクセルを決定するための予測モードの方向性を示すｄｘ及びｄｙのうち、少なくとも１つの値を２の指数乗として決定することができる。すなわち、ｎ，ｍをそれぞれ整数とするとき、ｄｘ及びｄｙは、それぞれ２＾ｎ、２＾ｍである。
図２５を参照すれば、現在ピクセルＰの予測子として、左側周辺ピクセルＢが利用され、ｄｘが２＾ｎの値を有する場合、左側周辺ピクセルＢの位置である（０，ｉ＋ｊ＊ｄｙ／ｄｘ）を決定するために必要なｊ＊ｄｙ／ｄｘ演算は、（ｉ＊ｄｙ）／（２＾ｎ）であり、かような２の指数乗で除法を行う演算は、（ｉ＊ｄｙ）＞＞ｎのように、シフト演算を介して具現されるので、演算量が減少する。

【0145】

同様に、現在ピクセルＰの予測子として、上側周辺ピクセルＡが利用され、ｄｙが２＾ｍの値を有する場合、上側周辺ピクセルＡの位置である（ｊ＋ｉ＊ｄｘ／ｄｙ，０）を決定するために必要なｉ＊ｄｘ／ｄｙ演算は、（ｉ＊ｄｘ）／（２＾ｍ）であり、かような２の指数乗で除法を行う演算は、（ｉ＊ｄｘ）＞＞ｍのように、シフト演算を介して具現される。

【0146】

図２６は、本発明によって、現在ピクセルの位置によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルの変化について説明するための図面である。

【0147】

現在ピクセルの位置によって、予測に必要な周辺ピクセルは、上側周辺ピクセルまたは左側周辺ピクセルのうち一つが選択される。

【0148】

図２６を参照すれば、現在ピクセルは、図面符号２６１０に図示されたＰ（ｊ，ｉ）であり、図示されたような予測方向に位置した周辺ピクセルを利用して予測されるとするとき、現在ピクセルＰ ２６１０の予測時に、上側ピクセルＡが利用され、現在ピクセルを、図面符号２６１０に図示されたＱ（ｂ，ａ）とする場合、現在ピクセルＱ ２６２０の予測時に、左側ピクセルＢが利用される。

【0149】

もし予測方向を示す（ｄｘ，ｄｙ）において、ｙ軸方向のｄｙ成分だけが２＾ｍ形態の２の指数乗値を有するならば、図２６で上側ピクセルＡは、（ｊ＋（ｉ＊ｄｘ）＞＞ｍ，０）のように、除法演算なしにシフト演算でもって決定されるが、左側ピクセルＢは、（０，ａ＋ｂ＊２＾ｍ／ｄｘ）のように、除法演算が必要になる。従って、現在ブロックの全てのピクセルに対して、予測子の生成時に除法演算を除外させるために、ｄｘ，ｄｙいずれも２の指数乗形態を有することができる。

【0150】

図２７及び図２８は、本発明の他の実施形態によって、イントラ予測モード方向を決定する方法について説明するための図面である。

【0151】

一般的には、映像やビデオ信号で示される直線パターンは、垂直方向や水平方向の場合が多い。従って、（ｄｘ，ｄｙ）のパラメータを利用して、多様な方向性を有するイントラ予測モードを定義するとき、次のように、ｄｘ，ｄｙの値を定義することによって、映像のコーディング効率を向上させることができる。

【0152】

具体的には、ｄｙが２＾ｍの値に固定された値を有する場合、ｄｘの絶対値は、垂直方向に近い予測方向間の間隔は、狭くなるように設定され、水平方向に近い予測方向であればあるほど、予測モード間の間隔が広くなるように設定される。例えば、図２７を参照すれば、ｄｙが２＾４、すなわち、１６の値を有する場合、ｄｘの値を、１、２、３、４、６，９、１２、１６、０、−１、−２、−３、−４、−６、−９、−１２、−１６のように設定することによって、垂直方向に近い予測方向間の間隔は、狭くなるように設定され、水平方向に近い予測方向であればあるほど、予測モード間の間隔は、広くなるように設定される。

【0153】

同様に、ｄｘが２＾ｎの値に固定された値を有する場合、ｄｙの絶対値は、水平方向に近い予測方向間の間隔は、狭くなるように設定され、垂直方向に近い予測方向であればあるほど、予測モード間の間隔が広くなるように設定される。例えば、図２８を参照すれば、ｄｘが２＾４、すなわち、１６の値を有する場合、ｄｙの値を、１、２、３、４、６，９、１２、１６、０、−１、−２、−３、−４、−６、−９、−１２、−１６のように設定することによって、水平方向に近い予測方向間の間隔は、狭くなるように設定され、垂直方向に近い予測方向であればあるほど、予測モード間の間隔は、広くなるように設定される。

【0154】

また、ｄｘ及びｄｙのうち、いずれか１つの値が固定されたとき、固定されていない残りの値は、予測モード別に増加するように設定される。例えば、ｄｙが固定された場合、ｄｘ間の間隔が、所定値ほど増加するように設定される。また、かような増加幅は、水平方向と垂直方向との角度を所定単位に区分し、区分された角度別に設定されもする。例えば、ｄｙが固定された場合、ｄｘの値は、垂直軸との角度が１５°以内である区間では、ａという増加幅を有し、１５°と３０°との間では、ｂという増加幅を有し、３０°以上では、ｃという増加幅を有するように設定される。この場合、前述の図２５のような形態を有するためには、ａ＜ｂ＜ｃになるように設定することができる。

【0155】

一例として、前述の図２５ないし都２８を介して説明した本発明の他の実施形態による予測モードは、次の表２ないし表４に表記したような（ｄｘ，ｄｙ）を利用し、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードと定義することができる。

【0156】

【表2】

【0157】

【表3】

例えば、表２を参照すれば、（−３２，３２）、（−２６，３２）、（−２１，３２）、（−１７，３２）、（−１３，３２）、（−９，３２）、（−５，３２）、（−２，３２）、（０，３２）、（２，３２）、（５，３２）、（９，３２）、（１３，３２）、（１７，３２）、（２１，３２）、（２６，３２）、（３２，３２）、（３２，−２６）、（３２，−２１）、（３２，−１７）、（３２，−１３）、（３２，−９）、（３２，−５）、（３２，−２）、（３２，０）、（３２，２）、（３２，５）、（３２，９）、（３２，１３）、（３２，１７）、（３２，２１）、（３２，２６）及び（３２，３２）のうち１つの（ｄｘ，ｄｙ）を利用して、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を有する予測モードが表現される。

【0158】

図２１は、本発明の一実施形態によって、色差成分符号化単位に適用される候補イントラ予測モードの一例について説明するための図面である。図２１を参照すれば、色差成分符号化単位のイントラ予測時に適用される候補イントラ予測モードは、垂直（vertical）モード、水平（horizontal）モード、ＤＣ（direct current）モード、プレーン（plane）モードに付け加え、前述のような現在色差成分符号化単位と対応する輝度成分符号化単位について最終的に決定されたイントラ予測モードが含まれる。また、前述のようなイントラ予測される輝度成分符号化単位及び色差成分符号化単位は、ＹＣｂＣｒ（またはＹＵＶ）色空間で定義される４：２：０、４：２：２及び４：４：４のカラーフォーマットの映像信号のうちいずれか一つであってもよい。輝度成分符号化単位のイントラ予測モードは、ＲＤコスト（rate-distortion cost）のようなコスト計算に基づいて、利用可能な複数個のイントラ予測モードのうち、最小コストを有するイントラ予測モードが、最終イントラ予測モードとして決定される。色差成分符号化単位のイントラ予測モードは、前述の垂直モード、水平モード、ＤＣモード、プレーンモード、及び現在色差成分符号化単位と対応する輝度成分符号化単位について最終的に決定されたイントラ予測モードを適用して、各イントラ予測モードによるコストを計算し、最小コストを有するイントラ予測モードが、色差成分符号化単位の最終イントラ予測モードとして決定される。

【0159】

図２２は、本発明の一実施形態による映像のイントラ予測装置を示したブロック図である。本発明の一実施形態による映像のイントラ予測装置２２００は、図４の映像符号化装置４００のイントラ予測部４１０、及び図５の映像復号化装置５００のイントラ予測部５５０として動作することができる。

【0160】

図２２を参照すれば、イントラ予測装置２２００は、輝度イントラ予測部２２１０及び色差イントラ予測部２２２０を含む。輝度イントラ予測部２２１０は、前述のような最大符号化単位及び深度に基づいて分割された各輝度成分符号化単位の大きさによって、現在輝度成分符号化単位の大きさによって適用されるイントラ予測モード候補を選択し、決定されたイントラ予測モード候補を、輝度成分符号化単位に適用して、各輝度成分符号化単位に係わるイントラ予測を行う。輝度イントラ予測部２２００は、イントラ予測の結果として生成された予測符号化単位と、本来輝度成分符号化単位との誤差値によるコストに基づいて、最小コストを有する最適のイントラ予測モードを、輝度成分符号化単位の最終イントラ予測モードとして決定する。

【0161】

色差イントラ予測部２２２０は、垂直モード、水平モード、ＤＣモード、プレーンモード、及び現在色差成分符号化単位と対応する輝度成分符号化単位について最終的に決定されたイントラ予測モードを適用して、各イントラ予測モードによるコストを計算し、最小コストを有するイントラ予測モードを、色差成分符号化単位の最終イントラ予測モードとして決定する。

【0162】

一方、図２２に図示されたイントラ予測装置２２００が復号化装置に利用される場合、図５のエントロピ復号化部５２０によって符号化されたビットストリームから抽出された最大符号化単位、最大符号化単位の階層的分割情報である深度情報を利用して、現在輝度成分及び色差成分の復号化単位の大きさを決定し、現在輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を利用して遂行されるイントラ予測モードを決定する。また、イントラ予測装置２２００は、抽出されたイントラ予測モードによって、各輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、予測復号化単位を生成する。予測復号化単位は、ビットストリームから復元された残差データと加算され、輝度成分及び色差成分の復号化単位に係わる復号化が行われる。

【0163】

図２３は、本発明の一実施形態による映像符号化単位に係わるイントラ予測モード決定方法を示したフローチャトである。図２３を参照すれば、段階２３１０で、最大サイズを有する符号化単位である最大符号化単位及び最大符号化単位の階層的分割情報である深度に基づいて、輝度成分の現在ピクチャを、少なくとも１つの符号化単位に分割する。

【0164】

段階２３２０で、分割された輝度成分の符号化単位のイントラ予測モードを決定する。前述のような、輝度成分の符号化単位のイントラ予測モードは、分割された各輝度成分符号化単位の大きさによって適用されるイントラ予測モード候補を選択し、イントラ予測モード候補を輝度成分符号化単位に適用し、各輝度成分符号化単位に係わるイントラ予測を行った後、最小コストを有する最適のイントラ予測モードを、輝度成分符号化単位の最終イントラ予測モードとして決定する。

【0165】

段階２３３０で、決定された輝度成分の符号化単位のイントラ予測モードを含む色差成分の符号化単位の候補イントラ予測モードを決定する。前述のような色差成分符号化単位に適用される候補イントラ予測モードは、対応する輝度成分符号化単位として決定された最終イントラ予測モード以外に、垂直モード、水平モード、ＤＣモード、プレーンモードを含む。

【0166】

段階２３４０で、決定された候補イントラ予測モードによる色差成分の符号化単位のコストを比較し、最小コストを有する色差成分の符号化単位のイントラ予測モードを決定する。

【0167】

図２４は、本発明の一実施形態による映像復号化単位のイントラ予測モード決定方法を示したフローチャトである。図２４を参照すれば、段階２４１０で、符号化されたビットストリームから、最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度情報を抽出する。

【0168】

段階２４２０で、抽出された最大符号化単位及び深度に基づいて、復号化される現在ピクチャの輝度成分及び色差成分を復号化単位に分割する。段階２４３０で、ビットストリームから分割された輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を抽出する。段階２４４０で、抽出されたイントラ予測モードによって、輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、輝度成分及び色差成分復号化単位を復号化する。

【0169】

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学記録媒体（例えば、ＣＤ−ＲＯＭやＤＶＤ）である。

【0170】

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【0171】

以上の実施形態に関し、更に、以下の項目を開示する。

【0172】

（１）現在ピクチャの映像符号化単位に係わるイントラ予測モード決定方法において、
最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度に基づいて、輝度成分の現在ピクチャを、少なくとも１つの符号化単位に分割する段階と、
前記分割された輝度成分の符号化単位のイントラ予測モードを決定する段階と、
前記輝度成分の符号化単位のイントラ予測モード及び前記色差成分の符号化単位の候補イントラ予測モードを色差成分符号化単位に適用したコストを比較する段階と、
前記比較結果に基づいて、前記色差成分の符号化単位の候補イントラ予測モード及び前記決定された輝度成分の符号化単位のイントラ予測モードのうち最小コストを有する前記色差成分の符号化単位のイントラ予測モードを決定する段階と、を含む映像符号化単位に係わるイントラ予測モード決定方法。

【0173】

（２）前記輝度成分の符号化単位のイントラ予測モードは、
前記輝度成分の符号化単位内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に最も近い周辺符号化単位の画素を利用して予測を行う予測モードを含むことを特徴とする（１）に記載の映像符号化単位に係わるイントラ予測モード決定方法。

【0174】

（３）前記（ｄｘ，ｄｙ）は、
次の値：（−３２，３２）、（−２６，３２）、（−２１，３２）、（−１７，３２）、（−１３，３２）、（−９，３２）、（−５，３２）、（−２，３２）、（０．３２）、（２，３２）、（５，３２）、（９，３２）、（１３，３２）、（１７，３２）、（２１，３２）、（２６，３２）、（３２，３２）、（３２，−２６）、（３２，−２１）、（３２，−１７）、（３２，−１３）、（３２，−９）、（３２，−５）、（３２，−２）、（３２，０）、（３２，２）、（３２，５）、（３２，９）、（３２，１３）、（３２，１７）、（３２，２１）、（３２，２６）及び（３２，３２）のうち、少なくとも１つの値を有することを特徴とする（２）に記載の映像符号化単位に係わるイントラ予測モード決定方法。

【0175】

（４）前記色差成分の符号化単位の候補イントラ予測モードは、
ＤＣモード、水平モード、垂直モード及びプレーンモードをさらに含むことを特徴とする（１）に記載の映像符号化単位に係わるイントラ予測モード決定方法。

【0176】

（５）前記分割された輝度成分の符号化単位のイントラ予測モードを決定する段階は、
前記輝度成分の符号化単位の大きさによって、利用可能なイントラ予測モードを、前記輝度成分の符号化単位に適用し、各イントラ予測モードによる率・歪曲コストを比較し、最小コストを有するイントラ予測モードを、前記輝度成分の符号化単位に係わるイントラ予測モードとして決定することを特徴とする（１）に記載の映像符号化単位に係わるイントラ予測モード決定方法。

【0177】

（６）現在ピクチャの映像符号化単位のイントラ予測モード決定装置において、
最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度に基づいて分割された輝度成分の符号化単位のイントラ予測モードを決定する輝度イントラ予測部と、
前記輝度成分の符号化単位のイントラ予測モード及び前記色差成分の符号化単位の候補イントラ予測モードを、前記最大符号化単位から分割された色差成分符号化単位に適用したコストを比較し、前記比較結果に基づいて、前記色差成分の符号化単位の候補イントラ予測モード及び前記決定された輝度成分の符号化単位のイントラ予測モードのうち、最小コストを有する前記色差成分の符号化単位のイントラ予測モードを決定する色差イントラ予測部と、を含むことを特徴とする映像符号化単位のイントラ予測モード決定装置。

【0178】

（７）前記輝度成分の符号化単位のイントラ予測モードは、
前記輝度成分の符号化単位内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に最も近い周辺符号化単位の画素を利用して予測を行う予測モードを含むことを特徴とする（６）に記載の映像符号化単位に係わるイントラ予測モード決定装置。

【0179】

（８）前記（ｄｘ，ｄｙ）は、
次の値：（−３２，３２）、（−２６，３２）、（−２１，３２）、（−１７，３２）、（−１３，３２）、（−９，３２）、（−５，３２）、（−２，３２）、（０．３２）、（２，３２）、（５，３２）、（９，３２）、（１３，３２）、（１７，３２）、（２１，３２）、（２６，３２）、（３２，３２）、（３２，−２６）、（３２，−２１）、（３２，−１７）、（３２，−１３）、（３２，−９）、（３２，−５）、（３２，−２）、（３２，０）、（３２，２）、（３２，５）、（３２，９）、（３２，１３）、（３２，１７）、（３２，２１）、（３２，２６）及び（３２，３２）のうち、少なくとも１つの値を有することを特徴とする（７）に記載の映像符号化単位に係わるイントラ予測モード決定装置。

【0180】

（９）前記色差成分の符号化単位の候補イントラ予測モードは、
ＤＣモード、水平モード、垂直モード及びプレーンモードをさらに含むことを特徴とする（６）に記載の映像符号化単位に係わるイントラ予測モード決定装置。

【0181】

（１０）前記輝度イントラ予測部は、
前記輝度成分の符号化単位の大きさによって、利用可能なイントラ予測モードを、前記輝度成分の符号化単位に適用し、各イントラ予測モードによる率・歪曲コストを比較し、最小コストを有するイントラ予測モードを、前記輝度成分の符号化単位に係わるイントラ予測モードとして決定することを特徴とする（６）に記載の映像符号化単位に係わるイントラ予測モード決定装置。

【0182】

（１１）現在ピクチャの映像復号化単位に係わるイントラ予測モード決定方法において、
符号化されたビットストリームから、最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報である深度情報を抽出する段階と、
前記抽出された最大符号化単位及び深度に基づいて、復号化される現在ピクチャの輝度成分及び色差成分を復号化単位に分割する段階と、
前記ビットストリームから、前記輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を抽出する段階と、
前記抽出されたイントラ予測モードによって、前記輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、前記輝度成分及び色差成分の復号化単位を復号化する段階と、を含む映像復号化単位に係わるイントラ予測モード決定方法。

【0183】

（１２）前記輝度成分及び色差成分の復号化単位に適用されたイントラ予測モードは、
前記復号化単位内部の各ピクセルを中心に、ｔａｎ^−１（ｄｙ／ｄｘ）（ｄｘ，ｄｙは整数）の角度を有する延長線上に位置するか、あるいは前記延長線に最も近い周辺ブロックの画素を利用して予測を行う予測モードを含むことを特徴とする（１１）に記載の映像復号化単位に係わるイントラ予測モード決定方法。

【0184】

（１３）前記（ｄｘ，ｄｙ）は、
次の値：（−３２，３２）、（−２６，３２）、（−２１，３２）、（−１７，３２）、（−１３，３２）、（−９，３２）、（−５，３２）、（−２，３２）、（０．３２）、（２，３２）、（５，３２）、（９，３２）、（１３，３２）、（１７，３２）、（２１，３２）、（２６，３２）、（３２，３２）、（３２，−２６）、（３２，−２１）、（３２，−１７）、（３２，−１３）、（３２，−９）、（３２，−５）、（３２，−２）、（３２，０）、（３２，２）、（３２，５）、（３２，９）、（３２，１３）、（３２，１７）、（３２，２１）、（３２，２６）及び（３２，３２）のうち、少なくとも１つの値を有することを特徴とする（１２）に記載の映像復号化単位に係わるイントラ予測モード決定方法。

【0185】

（１４）前記色差成分の復号化単位の候補イントラ予測モードは、
ＤＣモード、水平モード、垂直モード及びプレーンモードをさらに含むことを特徴とする（１１）に記載の映像復号化単位に係わるイントラ予測モード決定方法。

【0186】

（１５）映像復号化装置において、
符号化されたビットストリームから、最大サイズを有する符号化単位である最大符号化単位、前記最大符号化単位の階層的分割情報である深度情報、復号化される現在輝度成分及び色差成分の復号化単位に適用されたイントラ予測モード情報を抽出するエントロピ復号化部と、
前記抽出されたイントラ予測モードによって、前記輝度成分及び色差成分の復号化単位に係わるイントラ予測を行い、前記輝度成分及び色差成分の復号化単位を復号化するイントラ予測遂行部と、を含む映像の復号化装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12A】

【図12B】

【図12C】

【図13】

【図14A】

【図14B】

【図14C】

【図15】

【図16A】

【図16B】

【図16C】

【図17】

【図18】

【図19A】

【図19B】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】