特許 6101736 映像のイントラ予測符号化／復号化方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6101736

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】映像のイントラ予測符号化／復号化方法及び装置

(51)【国際特許分類】

   H04N 19/593 20140101AFI20170313BHJP

【ＦＩ】

   H04N19/593

【請求項の数】5

【全頁数】37

(21)【出願番号】特願2015-96548(P2015-96548)

(22)【出願日】2015年5月11日

(62)【分割の表示】特願2014-518806(P2014-518806)の分割

【原出願日】2012年6月28日

(65)【公開番号】特開2015-181254(P2015-181254A)

(43)【公開日】2015年10月15日

【審査請求日】2015年5月11日

(31)【優先権主張番号】61/501,969

(32)【優先日】2011年6月28日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リー，テミー

(72)【発明者】

【氏名】チェン，ジアンル

【審査官】 岩井 健二

(56)【参考文献】

【文献】 国際公開第２０１１／１４９２６５（ＷＯ，Ａ２）

【文献】 Sandeep Kanumuri et al.，Enhancements to Intra Coding，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting: Daegu, KR，２０１１年 １月，JCTVC-D235，pp.1-7

【文献】 Oguz Bici et al.，Unified planar intra prediction，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ３月，JCTVC-E174，pp.1-5

【文献】 Sandeep Kanumuri and Frank Bossen，CE6.e/f: Planar mode experiments and results，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ３月，JCTVC-E321，pp.1-8

【文献】 Thomas Wiegand et al.，WD3: Working Draft 3 of High-Efficiency Video Coding，Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH，２０１１年 ６月２７日，JCTVC-E603_d8，7.3.2.1, 7.3.5-7.3.6, 7.4.2.1, 7.4.5-7.4.6, 8.3.3-8.3.3.1.8

【文献】 Jianle Chen and Tammy Lee，Planar intra prediction improvement，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，6th Meeting: Torino, IT，２０１１年 ７月，JCTVC-F483，pp.1-5

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

現在サンプルの予測に用いられる第１コーナーサンプル、及び第２コーナーサンプル、第１側面サンプル、及び第２側面サンプルを含む参照サンプルを獲得する段階と、
前記現在サンプルが含まれた現在のブロックの大きさが所定の大きさ以上であるとき、前記獲得された参照サンプルを前記参照サンプルの周辺サンプルに基づいてフィルタリングする段階と、
前記参照サンプルに含まれた第１コーナーサンプル、前記第２コーナーサンプル、前記第１側面サンプル、及び前記第２側面サンプルに基づき前記現在サンプルの予測値を決定する段階と、
前記現在サンプルの前記予測値とオリジナル値との差を示すレジデュアルデータ及び前記現在サンプルの前記予測値を用いて前記現在サンプルの前記オリジナル値を復元する段階とを含み、
前記第１コーナーサンプルは、前記現在ブロックの上側面に隣接した行、及び前記現在ブロックの右側面に隣接した列の交差点に位置し、
前記第２コーナーサンプルは、前記現在ブロックの下側面に隣接した行、及び前記現在ブロックの左側面に隣接した列の交差点に位置し、
前記第１側面サンプルは、前記現在サンプルが位置した行及び前記現在ブロックの左側面に隣接した列の交差点に位置し、
前記第２側面サンプルは、前記現在ブロックの上側面に隣接した行及び前記現在サンプルが位置した列の交差点に位置し、
前記フィルタリング段階は、フィルター係数の比が１：２：１である３タップフィルターが参照サンプルに適用されることを特徴とする映像のイントラ予測方法。

【請求項2】

前記現在サンプルの予測値を決定する段階は、
前記現在サンプルの予測値を前記参照サンプルの加重平均値として決定することを特徴とする請求項１に記載の映像のイントラ予測方法。

【請求項3】

前記イントラ予測方法は、前記現在ブロックのサイズを示すサイズ情報を獲得する段階をさらに含み、
前記加重平均値は、前記サイズ情報及び前記現在サンプルピクセルの位置に基づき決定されることを特徴とする請求項２に記載の映像のイントラ予測方法。

【請求項4】

符号化単位の最大サイズに対する情報を用いて、映像は複数の最大符号化単位に分割され、
前記最大符号化単位は分割情報によって深度を有する多数の符号化単位に階層的に分割され、
現在深度の符号化単位は、上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、
前記分割情報が前記現在深度で分割されることを示す場合、前記現在深度の符号化単位は、周辺符号化単位と独立して、下位深度の符号化単位に分割され、
前記分割情報が前記現在深度で分割されないことを示す場合、少なくとも一つの変換単位を含む少なくとも一つの変換単位は前記現在深度の符号化単位から獲得され、
前記現在ブロックは、前記少なくとも一つの変換単位のうち一つであることを特徴とする請求項１に記載の映像のイントラ予測方法。

【請求項5】

現在サンプルの予測に用いられる第１コーナーサンプル、及び第２コーナーサンプル、第１側面サンプル、及び第２側面サンプルを含む参照サンプルを獲得する符号化情報獲得部と、
前記現在サンプルが含まれた現在のブロックの大きさが所定の大きさ以上であるとき、前記獲得された参照サンプルを前記参照サンプルの周辺サンプルに基づいてフィルタリングする参照サンプルフィルター部と、
前記参照サンプルに含まれた第１コーナーサンプル、前記第２コーナーサンプル、前記第１側面サンプル、及び前記第２側面サンプルに基づき前記現在サンプルの予測値を決定する予測値決定部と、
前記現在サンプルの前記予測値とオリジナル値との差を示すレジデュアルデータ及び前記現在サンプルの前記予測値を用いて前記現在サンプルの前記オリジナル値を復元する復元部とを備え、
前記第１コーナーサンプルは、前記現在ブロックの上側面に隣接した行及び前記現在ブロックの右側面に隣接した列の交差点に位置し、
前記第２コーナーサンプルは、前記現在ブロックの下側面に隣接した行、及び前記現在ブロックの左側面に隣接した列の交差点に位置し、
前記第１側面サンプルは、前記現在サンプルが位置した行及び前記現在ブロックの左側面に隣接した列の交差点に位置し、
前記第２側面サンプルは、前記現在ブロックの上側面に隣接した行及び前記現在サンプルが位置した列の交差点に位置し、
前記フィルタリング段階は、フィルター係数の比が１：２：１である３タップフィルターが参照サンプルに適用されることを特徴とする映像のイントラ予測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の符号化及び復号化に係り、さらに具体的には、多様な方向性及び新たなイントラ予測モードを用いて映像の圧縮効率を向上させる映像のイントラ予測符号化／復号化方法及び装置に関する。

【背景技術】

【0002】

ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のような映像圧縮方式では、映像を符号化するために１つのピクチャーをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能なすべての符号化モードでそれぞれのマクロブロックを符号化した後、マクロブロックの符号化にかかるビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とによって符号化モードを１つ選択し、マクロブロックを符号化する。

【0003】

高解像度または高画質ビデオコンテンツを再生、保存できるハードウェアの開発及び普及によって、高解像度または高画質ビデオコンテンツを効果的に符号化または復号化するビデオコーデックの必要性が増大しつつある。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された予測モードによって符号化されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする技術的課題は、現在予測単位の周辺ピクセルを用いた新たなイントラ予測方式を通じて、映像特性によってコーディング効率を向上させることである。

【0005】

本発明はまた、現在予測単位の周辺ピクセルを用いた新たな方式のイントラ予測モードを提供する。

【課題を解決するための手段】

【0006】

本発明の一実施形態による映像のイントラ予測方法は、現在予測単位の右上側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在予測単位の予測される現在ピクセルと同じ行に位置しつつ、前記現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセルを獲得する段階と、前記現在予測単位の左下側に位置している少なくとも１つの周辺ピクセルを用いて前記現在ピクセルと同じ列に位置しつつ、前記現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセルを獲得する段階と、前記第１ピクセル及び前記現在ピクセルと同じ行に位置している左側周辺ピクセルを用いた線形補間を通じて、前記現在ピクセルの第１予測値を獲得する段階と、前記第２ピクセル及び前記現在ピクセルと同じ列に位置している上側周辺ピクセルを用いた線形補間を通じて、前記現在ピクセルの第２予測値を獲得する段階と、前記第１予測値及び前記第２予測値を用いて前記現在ピクセルの予測値を獲得する段階と、を含むことを特徴とする。

【0007】

本発明の一実施形態による映像のイントラ予測装置は、現在予測単位の右上側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在予測単位の予測される現在ピクセルと同じ行に位置しつつ、前記現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセルを獲得し、前記現在予測単位の左下側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在ピクセルと同じ列に位置しつつ、前記現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセルを獲得し、前記第１ピクセル及び前記現在ピクセルと同じ行に位置している左側周辺ピクセルを用いた線形補間を通じて前記現在ピクセルの第１予測値を獲得し、前記第２ピクセル及び前記現在ピクセルと同じ列に位置している上側周辺ピクセルを用いた線形補間を通じて前記現在ピクセルの第２予測値を獲得し、前記第１予測値及び前記第２予測値を用いて前記現在ピクセルの予測値を獲得するイントラ予測部を備えることを特徴とする。

【発明の効果】

【0008】

本発明の実施形態によれば、周辺ピクセルを用いた多様なイントラ予測方式を通じて、映像特性によって最適のイントラ予測方式が適用されるようにすることで映像のコーディング効率を向上させる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。

【図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。

【図3】発明の一実施形態による符号化単位の概念図である。

【図4】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。

【図5】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。

【図6】本発明の一実施形態による深度別符号化単位及びパーティションを示す図面である。

【図7】本発明の一実施形態による符号化単位及び変換単位の関係を示す図面である。

【図8】本発明の一実施形態による深度別符号化情報を示す図面である。

【図9】本発明の一実施形態による深度別符号化単位を示す図面である。

【図10】本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。

【図11】本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。

【図12】本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す図面である。

【図13】表１の符号化モード情報による符号化単位、予測単位、変換単位の関係を示す図面である。

【図14】本発明の一実施形態による予測単位のサイズによるイントラ予測モードの数を示す図面である。

【図15】本発明の一実施形態による多様な方向性を持つイントラ予測モードを説明するための参照図である。

【図16】本発明の一実施形態によって、（ｄｘ，ｄｙ）の方向性を持つ延長線上に位置している周辺ピクセルと現在ピクセルとの関係を説明するための図面である。

【図17】本発明の一実施形態によってイントラ予測モード方向を示す図面である。

【図18】本発明の一実施形態によってイントラ予測モード方向を示す図面である。

【図19】本発明の一実施形態による３３個の方向性を持つイントラ予測モードの方向を示す図面である。

【図20A】本発明の一実施形態によるプランナーモードを説明するための図面である。

【図20B】本発明の一実施形態によるプランナーモードを説明するための図面である。

【図21】本発明の一実施形態によって現在予測単位周辺のフィルタリングされる周辺ピクセルを示す図面である。

【図22】周辺ピクセルのフィルタリング過程を説明するための参照図である。

【図23】本発明の一実施形態によるプランナーモードによるイントラ予測方法を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、添付した図面を参照して本発明の望ましい実施形態について具体的に説明する。

【0011】

図１は、本発明の一実施形態によるビデオ符号化装置のブロック図である。

【0012】

一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を備える。

【0013】

最大符号化単位分割部１１０は、映像の現在ピクチャーのための最大サイズの符号化単位である最大符号化単位に基づいて現在ピクチャーを区切る。現在ピクチャーが最大符号化単位より大きければ、現在ピクチャーの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２×３２、６４×６４、１２８×１２８、２５６×２５６などのデータ単位であり、横及び縦のサイズが８より大きい２の二乗である正方形のデータ単位である。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。

【0014】

一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と、最小符号化単位が最下位符号化単位と定義される。最大符号化単位の深度が深くなるにつれて深度別符号化単位のサイズが低減するので、上位深度の符号化単位は、複数の下位深度の符号化単位を含む。

【0015】

前述したように、符号化単位の最大サイズによって、現在ピクチャーの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は深度別に分割されるので、最大符号化単位に含まれた空間領域（ｓｐａｔｉａｌ ｄｏｍａｉｎ）の映像データが深度によって階層的に分類される。

【0016】

最大符号化単位の高さ及び幅を階層的に分割できる総回数を制限する最大深度及び符号化単位の最大サイズが予め設定される。

【0017】

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を定める。すなわち、符号化単位決定部１２０は、現在ピクチャーの最大符号化単位ごとに深度別符号化単位で映像データを符号化して最も小さな符号化誤差が発生する深度を選択し、符号化深度と定める。定められた符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

【0018】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差の最も小さな深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が定められる。

【0019】

最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であっても、それぞれのデータについての符号化誤差を測定して下位深度への分割如何が定められる。よって、１つの最大符号化単位に含まれるデータであっても、位置によって深度別符号化誤差が異なるため、位置によって符号化深度が異なって定められる。よって、１つの最大符号化単位について符号化深度が１つ以上設定され、最大符号化単位のデータは、１つ以上の符号化深度の符号化単位によって区切られる。

【0020】

したがって、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が定められる。一実施形態による‘ツリー構造による符号化単位’は、現在最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度と定められた深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では深度によって階層的に定められ、他の領域については独立して定められる。同様に、現在領域についての符号化深度は、他の領域についての符号化深度と独立して定められる。

【0021】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係る指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総数を示す。例えば、最大符号化単位の深度が０ならば、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位ならば、深度０、１、２、３、４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

【0022】

最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに深度別符号化単位に基づいて行われる。

【0023】

最大符号化単位が深度別に分割される度に深度別符号化単位の数が増加するので、深度が深くなるにつれて生成されるすべての深度別符号化単位について、予測符号化及び周波数変換を含む符号化が行われねばならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位に基づいて予測符号化及び周波数変換を説明する。

【0024】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択できる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化などの段階を経るが、すべての段階にわたって同じデータ単位が使われてもよく、段階別にデータ単位が変更されてもよい。

【0025】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択できる。

【0026】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、これ以上分割されない符号化単位に基づいて予測符号化が行われる。以下、予測符号化の基盤になる、これ以上分割されない符号化単位を‘予測単位’と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも１つが分割されたデータ単位を含む。

【0027】

例えば、サイズ２Ｎ×２Ｎ（但し、Ｎは、正の整数）の符号化単位がこれ以上分割されない場合、サイズ２Ｎ×２Ｎの予測単位になり、パーティションのサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように非対称的な割合で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

【0028】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも１つである。例えば、イントラモード及びインターモードは、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎサイズのパーティションに対して行われる。また、スキップモードは、２Ｎ×２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差の最も小さな予測モードが選択される。

【0029】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位に基づいて符号化単位の映像データの周波数変換を行える。

【0030】

符号化単位の周波数変換のためには、符号化単位より小さいか、または同じサイズのデータ単位に基づいて周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位及びインターモードのためのデータ単位を含む。

【0031】

以下、周波数変換の基盤になるデータ単位は、‘変換単位’と称する。符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小さなサイズの変換単位に分割されつつ、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区切られる。

【0032】

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割して変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎ×２Ｎの現在符号化単位の変換単位のサイズが２Ｎ×２Ｎならば、変換深度０、変換単位のサイズがＮ×Ｎならば、変換深度１、変換単位のサイズがＮ／２×Ｎ／２ならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。

【0033】

符号化深度別符号化情報は、符号化深度だけではなく予測関連情報及び周波数変換関連情報が必要である。よって、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位のサイズなどを定める。

【0034】

一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし１２を参照して詳細に後述する。

【0035】

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Ｌａｇｒａｎｇｉａｎ Ｍｕｌｔｉｐｌｉｅｒ）基盤の率−歪曲最適化技法（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）を用いて測定できる。

【0036】

出力部１３０は、符号化単位決定部１２０で定められた少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに関する情報を、ビットストリーム形態に出力する。

【0037】

符号化された映像データは、映像の残差データの符号化結果である。

【0038】

深度別符号化モードに関する情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。

【0039】

符号化深度情報は、現在深度で符号化せずに下位深度の符号化単位で符号化するかどうかを示す深度別分割情報を用いて定義される。現在符号化単位の現在深度が符号化深度ならば、現在符号化単位は現在深度の符号化単位で符号化されるので、現在深度の分割情報はこれ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではなければ、下位深度の符号化単位を用いた符号化を試みる必要があるため、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0040】

現在深度が符号化深度でなければ、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に下位深度の符号化単位が１つ以上存在するので、それぞれの下位深度の符号化単位ごとに繰り返して符号化が行われて、同じ深度の符号化単位ごとに再帰的な符号化が行われる。

【0041】

１つの最大符号化単位内にツリー構造の符号化単位が定められ、符号化深度の符号化単位ごとに少なくとも１つの符号化モードに関する情報が定められねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに関する情報が定められる。また、最大符号化単位のデータは、深度によって階層的に区切られて位置別に符号化深度が異なるので、データについて符号化深度及び符号化モードに関する情報が設定される。

【0042】

したがって、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも１つについて、該符号化深度及び符号化モードについての符号化情報が割り当てられる。

【0043】

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれるすべての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位である。

【0044】

例えば、出力部１３０を通じて出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に関する情報、インターモードの参照映像インデックスに関する情報、動きベクトルに関する情報、イントラモードのクロマ成分に関する情報、イントラモードの補間方式に関する情報などを含む。また、ピクチャー、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズに関する情報及び最大深度に関する情報は、ビットストリームのヘッダに挿入される。

【0045】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、一階層上位深度の符号化単位の高さ及び幅を半分したサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが２Ｎ×２Ｎならば、下位深度の符号化単位のサイズはＮ×Ｎである。また、２Ｎ×２Ｎサイズの現在符号化単位は、Ｎ×Ｎサイズの下位深度符号化単位を最大４個含む。

【0046】

したがって、一実施形態によるビデオ符号化装置１００は、現在ピクチャーの特性を考慮して定められた最大符号化単位のサイズ及び最大深度に基づいて、それぞれの最大符号化単位ごとに最適の形態及び大きさの符号化単位を定めて、ツリー構造による符号化単位を構成できる。また、それぞれの最大符号化単位ごとに多様な予測モード、周波数変換方式などで符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮して最適の符号化モードが定められる。

【0047】

したがって、映像の解像度が非常に高いか、データ量の非常に大きい映像を既存マクロブロック単位で符号化すれば、ピクチャー当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなってデータ圧縮効率が低下する傾向がある。よって、一実施形態によるビデオ符号化装置は、映像のサイズを考慮して符号化単位の最大サイズを増加させつつ、映像特性を考慮して符号化単位を調節できるので、映像圧縮効率が向上する。

【0048】

図２は、本発明の一実施形態によるビデオ復号化装置のブロック図である。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を備える。一実施形態によるビデオ復号化装置２００の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに関する情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して前述した通りである。

【0049】

受信部２０５は、符号化されたビデオについてのビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって符号化単位ごとに符号化された映像データを抽出して、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャーについてのヘッダから現在ピクチャーの符号化単位の最大サイズに関する情報を抽出できる。

【0050】

また、映像データ及び符号化情報抽出部２２０はパージングされたビットストリームから最大符号化単位別にツリー構造による符号化単位についての符号化深度及び符号化モードに関する情報を抽出する。抽出された符号化深度及び符号化モードに関する情報は映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割して、映像データ復号化部２３０が最大符号化単位ごとに映像データを復号化可能にする。

【0051】

最大符号化単位別符号化深度及び符号化モードに関する情報は、１つ以上の符号化深度情報について設定され、符号化深度別符号化モードに関する情報は、該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

【0052】

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに関する情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに繰り返して符号化を行って最小符号化誤差を発生させると定められた符号化深度及び符号化モードに関する情報である。よって、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元できる。

【0053】

一実施形態による符号化深度及び符号化モードについての符号化情報は、該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられるので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に符号化深度及び符号化モードに関する情報を抽出できる。所定データ単位別に、該最大符号化単位の符号化深度及び符号化モードに関する情報が記録されていれば、同じ符号化深度及び符号化モードに関する情報を持っている所定データ単位は、同じ最大符号化単位に含まれるデータ単位と類推される。

【0054】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに関する情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャーを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化する。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含む。

【0055】

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとにそれぞれのパーティション及び予測モードによってイントラ予測または動き補償を行う。

【0056】

また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとにそれぞれの変換単位によって周波数逆変換を行う。

【0057】

映像データ復号化部２３０は、深度別分割情報を用いて現在最大符号化単位の符号化深度を定める。もし、分割情報が現在深度でこれ以上分割されないことを示していれば、現在深度が符号化深度である。よって、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を用いて復号化する。

【0058】

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察して、同じ分割情報を含む符号化情報を保有しているデータ単位が集まって、映像データ復号化部２３０によって同じ符号化モードで復号化する１つのデータ単位と見なされる。

【0059】

一実施形態によるビデオ復号化装置２００は、符号化過程で最大符号化単位ごとに再帰的に符号化を行って、最小符号化誤差を発生させた符号化単位に関する情報を獲得し、現在ピクチャーについての復号化に用いる。すなわち、最大符号化単位ごとに最適符号化単位と定められたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0060】

したがって、高い解像度の映像またはデータ量が過度に多い映像であっても、符号化端から伝送された最適符号化モードに関する情報を用いて、映像の特性に適応的に定められた符号化単位のサイズ及び符号化モードによって効率的に映像データを復号化して復元できる。

【0061】

以下、図３ないし図１３を参照して本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式が詳細に説明される。

【0062】

図３は、階層的符号化単位の概念を示す。

【0063】

符号化単位の例は、符号化単位のサイズは幅×高さで表現され、サイズ６４×６４の符号化単位から、３２×３２、１６×１６、８×８を含む。サイズ６４×６４の符号化単位は、サイズ６４×６４、６４×３２、３２×６４、３２×３２のパーティションに分割され、サイズ３２×３２の符号化単位は、サイズ３２×３２、３２ｘ１６、１６×３２、１６×１６のパーティションに、サイズ１６×１６の符号化単位は、サイズ１６×１６、１６×８、８×１６、８×８のパーティションに、サイズ８×８の符号化単位は、サイズ８×８、８×４、４×８、４×４のパーティションに分割される。

【0064】

ビデオデータ３１０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度は１９２０×１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度は３５２×２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。

【0065】

解像度が高いか、またはデータ量が多い場合、符号化効率の向上だけではなく映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。よって、ビデオデータ３３０に比べて解像度の高いビデオデータ３１０、３２０は、符号化サイズの最大サイズが６４に選択される。

【0066】

ビデオデータ３１０の最大深度は２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズ６４の最大符号化単位から２回分割して深度が２階層深くなって、長軸サイズ３２、１６の符号化単位まで含む。一方、ビデオデータ３３０の最大深度は１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズ１６の符号化単位から１回分割して深度が一階層深くなって、長軸サイズ８の符号化単位まで含む。

【0067】

ビデオデータ３２０の最大深度は３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズ６４の最大符号化単位から３回分割して深度が３階層深くなって、長軸サイズ３２、１６、８の符号化単位まで含む。深度が深くなるほど詳細情報の表現能が向上する。

【0068】

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で映像データの符号化に経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を用いてインタ推定及び動き補償を行う。

【0069】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数に出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を通じて空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理されて参照フレーム４９５に出力される。量子化された変換係数は、エントロピー符号化部４５０を経てビットストリーム４５５に出力される。

【0070】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０がいずれも、最大符号化単位ごとに最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を行わねばならない。

【0071】

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを定め、周波数変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位のサイズを定めねばならない。

【0072】

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に関する情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て逆量子化されたデータに出力され、周波数逆変換部５４０を経て空間領域の映像データが復元される。

【0073】

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に用いてインターモードの符号化単位について動き補償を行う。

【0074】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されて復元フレーム５９５に出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

【0075】

ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

【0076】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０がいずれも、最大符号化単位ごとにツリー構造による符号化単位に基づいて作業を行わねばならない。

【0077】

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとにパーティション及び予測モードを定め、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを定めねばならない。

【0078】

図６は、本発明の一実施形態による深度別符号化単位及びパーティションを示す。

【0079】

一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に定められてもよく、ユーザの要求に応じて多様に設定されてもよい。既定の符号化単位の最大サイズによって、深度別符号化単位のサイズが定められる。

【0080】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４の場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。

【0081】

すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４×６４である。縦軸に沿って深度が深くなり、サイズ３２×３２の深度１の符号化単位６２０、サイズ１６×１６の深度２の符号化単位６３０、サイズ８×８の深度３の符号化単位６４０、サイズ４×４の深度４の符号化単位６５０が存在する。サイズ４×４の深度４の符号化単位６５０は、最小符号化単位である。

【0082】

それぞれの深度別で横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４×６４の符号化単位６１０が予測単位ならば、予測単位はサイズ６４×６４の符号化単位６１０に含まれるサイズ６４×６４のパーティション６１０、サイズ６４×３２のパーティション６１２、サイズ３２×６４のパーティション６１４、サイズ３２×３２のパーティション６１６に分割される。

【0083】

同様に、深度１のサイズ３２×３２の符号化単位６２０の予測単位は、サイズ３２×３２の符号化単位６２０に含まれるサイズ３２×３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６×３２のパーティション６２４、サイズ１６×１６のパーティション６２６に分割される。

【0084】

同様に、深度２のサイズ１６×１６の符号化単位６３０の予測単位は、サイズ１６×１６の符号化単位６３０に含まれるサイズ１６×１６のパーティション６３０、サイズ１６×８のパーティション６３２、サイズ８×１６のパーティション６３４、サイズ８×８のパーティション６３６に分割される。

【0085】

同様に、深度３のサイズ８×８の符号化単位６４０の予測単位は、サイズ８×８の符号化単位６４０に含まれるサイズ８×８のパーティション６４０、サイズ８×４のパーティション６４２、サイズ４×８のパーティション６４４、サイズ４×４のパーティション６４６に分割される。

【0086】

最後に、深度４のサイズ４×４の符号化単位６５０は、最小符号化単位であって最下位深度の符号化単位であり、該予測単位もサイズ４×４のパーティション６５０のみに設定される。

【0087】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を定めるために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。

【0088】

同一範囲及びサイズのデータを含むための深度別符号化単位の数は、深度が深くなるほど深度別符号化単位の数も増加する。例えば、深度１の符号化単位１つが含むデータに対して、深度２の符号化単位は４つ必要である。よって、同じデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を用いてそれぞれ符号化されねばならない。

【0089】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行って、該深度で最も小さな符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行って、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプと選択される。

【0090】

図７は、本発明の一実施形態による符号化単位及び変換単位の関係を示す。

【0091】

一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに最大符号化単位より小さいか、または同じサイズの符号化単位で映像を符号化または復号化する。符号化過程中に周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位に基づいて選択される。

【0092】

例えば、一実施形態によるビデオ符号化装置１００または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４×６４サイズの時、３２×３２サイズの変換単位７２０を用いて周波数変換が行われる。

【0093】

また、６４×６４サイズの符号化単位７１０のデータを、６４×６４サイズ以下の３２×３２、１６×１６、８×８、４×４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択される。

【0094】

図８は、本発明の一実施形態によって深度別符号化情報を示す。

【0095】

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに関する情報として、それぞれの符号化深度の符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を符号化して伝送する。

【0096】

パーティションタイプに関する情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に関する情報を示す。例えば、サイズ２Ｎ×２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６、サイズＮ×Ｎのパーティション８０８のうちいずれか１つのタイプに分割されて用いられる。この場合、現在符号化単位のパーティションタイプに関する情報８００は、サイズ２Ｎ×２Ｎのパーティション８０２、サイズ２Ｎ×Ｎのパーティション８０４、サイズＮ×２Ｎのパーティション８０６及びサイズＮ×Ｎのパーティション８０８のうち１つを示すように設定される。

【0097】

予測モードに関する情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに関する情報８１０を通じて、パーティションタイプに関する情報８００の示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち１つで予測符号化が行われるかどうかが設定される。

【0098】

また、変換単位サイズに関する情報８２０は、現在符号化単位をいかなる変換単位に基づいて周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インタ変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうち１つである。

【0099】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとにパーティションタイプに関する情報８００、予測モードに関する情報８１０、変換単位サイズに関する情報８２０を抽出して復号化に用いる。

【0100】

図９は、本発明の一実施形態による深度別符号化単位を示す。

【0101】

深度の変化を示すために分割情報が用いられる。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるかどうかを示す。

【0102】

深度０及び２Ｎ＿０×２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１４、Ｎ＿０×２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０×Ｎ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な割合で分割されたパーティション９１２、９１４、９１６、９１８のみ例示されているが、前述したようにパーティションタイプはこれに限定されず、非対称的なパーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。

【0103】

パーティションタイプごとに、１つの２Ｎ＿０×２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０×Ｎ＿０サイズのパーティション、２つのＮ＿０×２Ｎ＿０サイズのパーティション、４つのＮ＿０×Ｎ＿０サイズのパーティションごとに繰り返して予測符号化が行われねばならない。サイズ２Ｎ＿０×２Ｎ＿０、サイズＮ＿０×２Ｎ＿０及びサイズ２Ｎ＿０×Ｎ＿０及びサイズＮ＿０×Ｎ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。サイズ２Ｎ＿０×２Ｎ＿０のパーティションについてのみ、スキップモードで予測符号化が行われる。

【0104】

サイズ２Ｎ＿０×２Ｎ＿０、２Ｎ＿０×Ｎ＿０及びＮ＿０×２Ｎ＿０のパーティションタイプ９１２、９１４、９１６のうち１つによる符号化誤差が最も小さければ、これ以上下位深度に分割する必要がない。

【0105】

サイズＮ＿０×Ｎ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０×Ｎ＿０のパーティションタイプの符号化単位９３０について繰り返して符号化を行って最小符号化誤差を検索する。

【0106】

深度１及びサイズ２Ｎ＿１×２Ｎ＿１（＝Ｎ＿０×Ｎ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１×２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１×２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。

【0107】

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２×Ｎ＿２の符号化単位９６０について繰り返して符号化を行って最小符号化誤差を検索する。

【0108】

最大深度がｄの場合、深度別分割情報は深度ｄ−１の時まで設定され、分割情報は深度ｄ−２の時まで設定される。すなわち、深度ｄ−２から分割（９５０）されて深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８を含む。

【0109】

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）×２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションごとに繰り返して予測符号化を通じる符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

【0110】

サイズＮ＿（ｄ−１）×Ｎ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）はこれ以上下位深度への分割過程を経ず、現在最大符号化単位９００についての符号化深度が深度ｄ−１と定められ、パーティションタイプはＮ＿（ｄ−１）×Ｎ＿（ｄ−１）と定められる。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２について分割情報は設定されない。

【0111】

データ単位９９９は、現在最大符号化単位についての‘最小単位’と称する。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位である。このような繰り返しの符号化過程を通じて、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較して最も小さな符号化誤差が発生する深度を選択して符号化深度を定め、該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。

【0112】

このような形で深度０、１、…、ｄ−１、ｄのすべての深度別最小符号化誤差を比較して、誤差の最も小さな深度が選択されて符号化深度と定められる。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに関する情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ‘０’に設定され、符号化深度を除いた深度別分割情報は‘１’に設定されねばならない。

【0113】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００についての符号化深度及び予測単位に関する情報を抽出して符号化単位９１２の復号化に用いる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を用いて分割情報が‘０’の深度を符号化深度と把握し、該深度についての符号化モードに関する情報を用いて復号化に用いる。

【0114】

図１０ないし図１２はそれぞれ、本発明の一実施形態による符号化単位、予測単位、周波数変換単位の関係を示す。

【0115】

符号化単位１０１０は、最大符号化単位について一実施形態によるビデオ符号化装置１００が定めた符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうちそれぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0116】

深度別符号化単位１０１０は、最大符号化単位の深度が０ならば、符号化単位１０１２、１０５４は深度が１、符号化単位１０１４、１０１６、１０１８、１０２８、１０５０、１０５２は深度が２、符号化単位１０２０、１０２２、１０２４、１０２６、１０３０、１０３２、１０４８は深度が３、符号化単位１０４０、１０４２、１０４４、１０４６は深度が４である。

【0117】

予測単位１０６０のうち一部のパーティション１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４、１０２２、１０５０、１０５４は、２Ｎ×Ｎのパーティションタイプであり、パーティション１０１６、１０４８、１０５２は、Ｎ×２Ｎのパーティションタイプ、パーティション１０３２は、Ｎ×Ｎのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、または同一である。

【0118】

変換単位１０７０のうち一部１０５２の映像データについては、符号化単位に比べて小さなサイズのデータ単位で周波数変換または周波数逆変換が行われる。また、変換単位１０１４、１０１６、１０２２、１０３２、１０４８、１０５０、１０５２、１０５４は、予測単位１０６０のうち該予測単位及びパーティションと比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同じ符号化単位についてのイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であっても、それぞれ別途のデータ単位に基づいて行える。

【0119】

これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われて最適符号化単位が定められることで、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位についての分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定できる一例を示す。

【0120】

【表1】

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位についての符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化情報を抽出できる。

【0121】

分割情報は、現在符号化単位が下位深度の符号化単位に分割されるかどうかを示す。現在深度ｄの分割情報が０ならば、現在符号化単位が下位符号化単位にこれ以上分割されない深度が符号化深度であるので、符号化深度についてパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに独立して符号化が行われねばならない。

【0122】

予測モードは、イントラモード、インターモード及びスキップモードのうち１つで示す。イントラモード及びインターモードは、すべてのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎ×２Ｎのみで定義される。

【0123】

パーティションタイプ情報は、予測単位の高さまたは幅が対称的な割合で分割された対称的パーティションタイプ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ及びＮ×Ｎと、非対称的な割合で分割された非対称的パーティションタイプ２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎとを示す。非対称的パーティションタイプ２Ｎ×ｎＵ及び２Ｎ×ｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬ×２Ｎ及びｎＲ×２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

【0124】

変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定される。すなわち、変換単位分割情報が０ならば、変換単位のサイズが現在符号化単位のサイズ２Ｎ×２Ｎに設定される。変換単位分割情報が１ならば、現在符号化単位が分割されたサイズの変換単位が設定される。またサイズ２Ｎ×２Ｎの現在符号化単位についてのパーティションタイプが対称形パーティションタイプならば、変換単位のサイズはＮ×Ｎ、非対称形パーティションタイプならば、Ｎ／２×Ｎ／２に設定される。

【0125】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも１つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を１つ以上含む。

【0126】

したがって、隣接しているデータ単位同士でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるかどうかが確認される。また、データ単位が保有している符号化情報を用いれば、該符号化深度の符号化単位を確認できるので、最大符号化単位内の符号化深度の分布が類推される。

【0127】

したがって、この場合に現在符号化単位が周辺データ単位を参照して予測符号化が行われる場合、現在符号化単位に隣接している深度別符号化単位内のデータ単位の符号化情報が直接参照されて用いられる。

【0128】

さらに他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接している深度別符号化単位の符号化情報を用いて、深度別符号化単位内で現在符号化単位に隣接しているデータが検索されることで周辺符号化単位が参照されてもよい。

【0129】

図１３は、表１の符号化モード情報による符号化単位、予測単位、変換単位の関係を示す。

【0130】

最大符号化単位１３００は、符号化深度の符号化単位１３０２、１３０４、１３０６、１３１２、１３１４、１３１６、１３１８を含む。このうち１つの符号化単位１３１８は符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎ×２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６、Ｎ×Ｎ １３２８、２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定される。

【0131】

パーティションタイプ情報が対称形パーティションタイプ２Ｎ×２Ｎ １３２２、２Ｎ×Ｎ １３２４、Ｎ×２Ｎ １３２６及びＮ×Ｎ １３２８のうち１つに設定されている場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３４２が設定され、変換単位分割情報が１ならば、サイズＮ×Ｎの変換単位１３４４が設定される。

【0132】

パーティションタイプ情報が非対称形パーティションタイプ２Ｎ×ｎＵ １３３２、２Ｎ×ｎＤ １３３４、ｎＬ×２Ｎ １３３６及びｎＲ×２Ｎ １３３８のうち１つに設定された場合、変換単位分割情報（ＴＵ ｓｉｚｅ ｆｌａｇ）が０ならば、サイズ２Ｎ×２Ｎの変換単位１３５２が設定され、変換単位分割情報が１ならば、サイズＮ／２×Ｎ／２の変換単位１３５４が設定される。

【0133】

以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０及び図５の映像復号化装置２００のイントラ予測部５５０で、予測単位について行われるイントラ予測について具体的に説明する。

【0134】

イントラ予測部４１０、５５０は、現在予測単位の予測値を、現在予測単位の周辺ピクセルを用いて獲得するイントラ予測を行う。本発明の一実施形態によるイントラ予測部４１０、５５０は、予測単位１６×１６以上の大きいサイズを持つことを考慮して、従来技術による限定された方向性を持つイントラ予測モード以外に、（ｄｘ，ｄｙ）パラメタを用いた多様な方向性を持つイントラ予測モードをさらに行う。本発明の一実施形態による多様な方向性を持つイントラ予測モードについては後述する。

【0135】

また、本発明の一実施形態によるイントラ予測部４１０、５５０は、現在ピクセルの予測子（ｐｒｅｄｉｃｔｏｒ）を獲得するために、現在ピクセルの水平方向の線形補間を通じて予測子Ｐ１を生成し、垂直方向の線形補間を通じて予測子Ｐ２を生成して、予測子Ｐ１及びＰ２の平均値を現在ピクセルの予測子として用いる。このような水平方向の線形補間及び垂直方向の線形補間を通じて獲得された予測子を結合して現在ピクセルの予測子を生成するイントラ予測モードを、プランナーモードと定義する。特に、本発明の一実施形態によるイントラ予測部４１０、５５０は、プランナーモードで現在予測単位の右上側に位置している少なくとも１つ以上の周辺ピクセルを用いて水平方向の線形補間に用いられる仮想のピクセルを生成し、左下側に位置している少なくとも１つ以上の周辺ピクセルを用いて垂直方向の線形補間に用いられる仮想のピクセルを生成する。本発明の一実施形態によるプランナーモードについては後述する。

【0136】

図１４は、本発明の一実施形態による予測単位のサイズによるイントラ予測モードの数を示す。

【0137】

イントラ予測部４１０、５５０は、予測単位のサイズによって予測単位に適用するイントラ予測モードの数を多様に設定できる。一例として図１４を参照すれば、イントラ予測される予測単位のサイズをＮ×Ｎとすれば、２ｘ２、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８サイズの予測単位それぞれについして実際に行われるイントラ予測モードの数は、それぞれ５、９、９、１７、３３、５、５個（Ｅｘａｍｐｌｅ ２の場合）に設定される。このように予測単位のサイズによって実際に行われるイントラ予測モードの数を差別化する理由は、予測単位のサイズによって予測モード情報を符号化するためのオーバヘッドが異なるからである。すなわち、予測単位の場合、全体映像で占める部分が小さいにもかかわらず、このような小さな予測単位の予測モードなどの付加情報を伝送するためのオーバヘッドが増加する。よって、小さなサイズの予測単位をあまりにも多い予測モードで符号化する場合、ビット量が増加して圧縮効率が低下する。また、大きいサイズを持つ予測単位、例えば６４×６４以上のサイズを持つ予測単位は、一般的に映像の平坦な領域についての予測単位として選択される場合が多いため、このような平坦な領域の符号化に多く選択される大きいサイズの予測単位をあまりにも多い数の予測モードで符号化することも、圧縮効率側面で非効率的である。よって、予測単位のサイズが所定サイズより非常に大きいか、または小さな場合には、相対的に小数のイントラ予測モードのみを適用させる。このような予測単位のサイズによって適用されるイントラ予測モードの数は、図１４に限定されずに多様に設定される。図１４に示された各予測単位のサイズによって適用される予測モードの数は一実施形態に過ぎず、各予測単位のサイズによる予測モードの数は変更される。また、各予測単位に適用されるイントラ予測モードの数は、予測単位のサイズに関係なく常に一定に設定される。

【0138】

本発明の一実施形態によるイントラ予測部４１０、５５０は、予測単位に適用されるイントラ予測モードとして、予測単位内のピクセルを中心として所定の勾配を持つラインを用いて周辺参照ピクセルを定め、定められた周辺参照ピクセルをピクセルの予測子として用いるイントラ予測モードが含まれる。このようなラインの勾配は、（ｄｘ，ｄｙ）パラメタ（ｄｘ、ｄｙは、整数）を用いて設定される。一例として、３３個の予測モードをそれぞれｍｏｄｅ Ｎ（Ｎは、０〜３２の整数）と定義する時、ｍｏｄｅ ０は垂直モード、ｍｏｄｅ １は水平モード、ｍｏｄｅ ２はＤＣモード、ｍｏｄｅ ３はプレーンモード、ｍｏｄｅ ３２はプランナーモードと設定し、ｍｏｄｅ ４〜ｍｏｄｅ ３１それぞれは、次の表１に表記したような（１，−１）、（１，１）、（１，２）、（２，１）、（１，−２）、（２，１）、（１，−２）、（２，−１）、（２，−１１）、（５，−７）、（１０，−７）、（１１，３）、（４，３）、（１，１１）、（１，−１）、（１２，−３）、（１，−１１）、（１，−７）、（３，−１０）、（５，−６）、（７，−６）、（７，−４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，−７）、（４，−３）のうち１つの値に表現される（ｄｘ，ｄｙ）を用いて、ｔａｎ^−１（ｄｙ／ｄｘ）の方向性を持つラインを用いて周辺参照ピクセルを定め、定められた周辺参照ピクセルを予測に用いるイントラ予測モードと定義できる。

【0139】

【表2】

【0140】

イントラ予測部４１０、５５０で用いられるイントラ予測モードの数は、表２に限定されず、現在予測単位が色差成分であるかまたは輝度成分であるか、現在予測単位のサイズなどの情報に基づいて多様に設定され、また、各ｍｏｄｅ Ｎがいかなるイントラ予測モードを示すかも多様に設定される。一例として、全体イントラ予測モードの数を３６個に設定し、ｍｏｄｅ ０は、後述するプランナーモード、ｍｏｄｅ １はＤＣモード、ｍｏｄｅ ２〜３４は、後述する一例のように３３個の方向性を持つイントラ予測モード、ｍｏｄｅ ３５は、色差成分の予測単位について対応する輝度成分の予測単位を用いたモード（Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ）と定義してもよい。Ｍｏｄｅ ３５の輝度成分の予測単位から対応する色差成分の予測単位を行うイントラ予測モード（Ｉｎｔｒａ＿ＦｒｏｍＬｕｍａ）は、色差成分の予測単位のみについて適用され、輝度成分の予測単位のイントラ予測時には用いられない。

【0141】

図１５は、本発明の一実施形態による多様な方向性を持つイントラ予測モードを説明するための参照図である。

【0142】

前述したように、本発明の一実施形態によるイントラ予測部４１０、５５０は、複数の（ｄｘ，ｄｙ）パラメータを用いて定められるｔａｎ^−１（ｄｙ／ｄｘ）の勾配を持つラインを用いて周辺参照ピクセルを定め、定められた周辺参照ピクセルを用いて予測を行う。

【0143】

図１５を参照すれば、現在予測単位内部の予測しようとする現在ピクセルＰを中心として、表２に表記したモード別（ｄｘ，ｄｙ）の値によって定められるｔａｎ^−１（ｄｙ／ｄｘ）の角度を持つ延長線１５０上に位置している周辺ピクセルＡ、Ｂを現在ピクセルＰの予測子として用いる。この時、予測子として用いられる周辺ピクセルは、以前に符号化されて復元された、現在予測単位の上側、左側、右上側及び左下側の以前予測単位のピクセルであることが望ましい。このように多様な方向性を持つイントラ予測モードによって予測符号化を行うことで、映像の特性によってさらに効率的な圧縮が可能である。

【0144】

図１５で、延長線１５０に位置しているか、または延長線１５０に近い周辺ピクセルを用いて現在ピクセルＰの予測子を生成する場合、延長線１５０は実際にｔａｎ^−１（ｄｙ／ｄｘ）の方向性を持つが、このような延長線１５０を用いた周辺ピクセルの決定のためには（ｄｙ／ｄｘ）の割り算演算が必要なため、ハードウェアやソフトウェアで具現時に小数点演算を含むことができて演算量を増加させる要因になる。よって、参照ピクセルを選択するための予測方向を、ｄｘ、ｄｙパラメタを用いて設定する時、演算量を低減させるようにｄｘ、ｄｙを設定する必要がある。

【0145】

図１６は、本発明の一実施形態によって（ｄｘ，ｄｙ）の方向性を持つ延長線上に位置している周辺ピクセルと現在ピクセルとの関係を説明するための図面である。図１６を参照すれば、（ｊ，ｉ）に位置している現在ピクセルをＰ １６１０、現在ピクセルＰ １６１０を過ぎるｔａｎ^−１（ｄｙ／ｄｘ）の方向性、すなわち、勾配を持つ延長線上に位置している上側周辺ピクセルをＡ １６１１、左側周辺ピクセルをＢ １６１２と定義する。現在ピクセルＰ １６１０が含まれた予測単位のサイズがｎＳ×ｎＳ（ｎＳは、正の整数）であり、予測単位の各ピクセルの位置は、（０，０）から（ｎＳ−１，ｎＳ−１）のうち１つであり、ｘ軸上に位置している上側周辺ピクセルの位置を（ｍ，−１）（ｍは、整数）、ｙ軸上に位置している左側周辺ピクセルの位置を（−１，ｎ）（ｎは、整数）と仮定する。現在ピクセルＰ １６１０を過ぎる延長線と合う上側周辺ピクセルＡ １６１１の位置は（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）、左側周辺ピクセルＢ １６１２の位置は（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）である。よって、現在ピクセルＰ １６１０の予測のために、上側周辺ピクセルＡ １６１１または左側周辺ピクセルＢ １６１２を定めるためには、ｄｘ／ｄｙまたはｄｙ／ｄｘのような割り算演算が必要である。前述したように、このような割り算演算は演算複雑度が高いため、ソフトウェアまたはハードウェアの具現時に演算速度の低下をもたらす。よって、周辺ピクセルを定めるための予測モードの方向性を示すｄｘ及びｄｙのうち少なくとも１つの値を２の指数乗と定める。すなわち、ｎ、ｍをそれぞれ整数とする時、ｄｘ及びｄｙは、それぞれ２＾ｎ、２＾ｍである。

【0146】

現在ピクセルＰ １６１０の予測子として左側周辺ピクセルＢ １６１２が用いられ、ｄｘが２＾ｎの値を持つ場合、左側周辺ピクセルＢ １６１２の位置である（−１、ｉ＋ｊ＊ｄｙ／ｄｘ）を定めるために必要なｊ＊ｄｙ／ｄｘ演算は（ｉ＊ｄｙ）／（２＾ｎ）であり、このような２の指数乗で割り算を行う演算は、（ｉ＊ｄｙ）＞＞ｎのようにシフト演算を通じて具現されるため、演算量が減少する。

【0147】

類似して、現在ピクセルＰ １６１０の予測子として上側周辺ピクセルＡ １６１１が用いられ、ｄｙが２＾ｍの値を持つ場合、上側周辺ピクセルＡの位置である（ｊ＋ｉ＊ｄｘ／ｄｙ、−１）を定めるために必要なｉ＊ｄｘ／ｄｙ演算は（ｉ＊ｄｘ）／（２＾ｍ）であり、このような２の指数乗で割り算を行う演算は、（ｉ＊ｄｘ）＞＞ｍのようにシフト演算を通じて具現される。

【0148】

図１７及び図１８は、本発明の一実施形態によるイントラ予測モード方向を示す図面である。

【0149】

一般的に、映像やビデオ信号で現われる直線パターンは、垂直や水平方向の場合が多い。よって、（ｄｘ，ｄｙ）のパラメタを用いて多様な方向性を持つイントラ予測モードを定義する時、次のようにｄｘ、ｄｙの値を定義することで映像のコーディング効率を向上させる。

【0150】

具体的に、ｄｙが２＾ｍの値に固定された値を持つ場合、ｄｘの絶対値は、垂直方向に近い予測方向間の間隔は狭く設定され、水平方向に近い予測方向であるほど予測モード間の間隔が広くなるように設定される。例えば、図１７を参照すれば、ｄｙが２＾５、すなわち、３２の値を持つ場合、ｄｘの値を２、５、９、１３、１７、２１、２６、３２、−２、−５、−９、−１３、−１７、−２１、−２６、−３２のように設定することで、垂直方向に近い予測方向間の間隔は相対的に狭く設定され、水平方向に近い予測方向であるほど予測モード間の間隔が相対的に広く設定される。

【0151】

類似して、ｄｘが２＾ｎの値に固定された値を持つ場合、ｄｙの絶対値は、水平方向に近い予測方向間の間隔は狭く設定され、垂直方向に近い予測方向であるほど予測モード間の間隔が広く設定される。例えば、図１８を参照すれば、ｄｘが２＾５、すなわち、３２の値を持つ場合、ｄｙの値を２、５、９、１３、１７、２１、２６、３２、−２、−５、−９、−１３、−１７、−２１、−２６、−３２のように設定することで、水平方向に近い予測方向間の間隔は狭く設定され、垂直方向に近い予測方向であるほど予測モード間の間隔が広く設定される。

【0152】

また、ｄｘ及びｄｙののうちいずれか１つの値が固定された時、固定されていない残りの値は予測モード別に増加するように設定される。例えば、ｄｙが固定された場合、ｄｘ間の間隔が所定値ほど増加するように設定される。また、このような増加幅は、水平方向と垂直方向との間の角度を所定単位で区分し、区分された角度別に設定されてもよい。例えば、ｄｙが固定された場合、ｄｘの値は垂直軸との角度が１５°以内の区間では、ａという増加幅を持ち、１５°と３０°との間ではｂという増加幅を持ち、３０°以上ではｃという増加幅を持つように設定される。

【0153】

一例として、（ｄｘ，ｄｙ）を用いてｔａｎ^−１（ｄｙ／ｄｘ）の方向性を持つ予測モードは、次の表３ないし表５に表記した（ｄｘ，ｄｙ）パラメタで定義される。

【0154】

【表3】

前述したように（ｄｘ，ｄｙ）パラメータを用いる各イントラ予測モードは、（ｊ，ｉ）に位置しているピクセルの予測子として、左側の周辺ピクセル（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）または上側の周辺ピクセル（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）を用いる。表２のように、ｄｘまたはｄｙの値のうち少なくとも１つが２の指数乗を持つ場合、左側の周辺ピクセル（−１，ｉ＋ｊ＊ｄｙ／ｄｘ）及び上側の周辺ピクセル（ｊ＋ｉ＊ｄｘ／ｄｙ，−１）の位置は、割り算演算なしに乗算及びシフト演算のみで獲得される。前述した表２による（ｄｘ，ｄｙ）の値のうちｄｘが３２の場合のように、ｄｘが２＾ｎの値を持つ場合、ｄｘを用いた割り算演算は右側シフト演算に取り替えられるので、左側の周辺ピクセルの位置は、（ｉ＊ｄｙ）＞＞ｎの値に基づいて割り算演算なしに獲得される。類似して、表２による（ｄｘ，ｄｙ）の値のうちｄｙが３２の場合のように、ｄｙが２＾ｍの値を持つ場合、ｄｙを用いた割り算演算は右側シフト演算に取り替えられるので、上側の周辺ピクセルの位置は、（ｉ＊ｄｘ）＞＞ｍの値に基づいて割り算演算なしに獲得される。

【0155】

図１９は、本発明の一実施形態による３３個の方向性を持つイントラ予測モードの方向を示す図面である。図１９を参照すれば、イントラ予測部４１０、５５０は、図示されたような３３個の方向性を持つイントラ予測モードによって、現在ピクセルの予測子として用いられる周辺ピクセルを定める。前述したように、各イントラ予測モードによる方向は、水平方向や垂直方向に近いほど予測モードの間の間隔は狭く設定され、垂直方向や水平方向から遠くなるほど予測モード間の間隔が広く設定される。

【0156】

図２０Ａ及び図２０Ｂは、本発明の一実施形態によるプランナーモードを説明するための図面である。

【0157】

前述したように、イントラ予測部４１０、５５０は、プランナーモードで現在予測単位の右上側に位置している少なくとも１つ以上の周辺ピクセルを用いて、水平方向の線形補間に用いられる仮想のピクセルを生成し、左下側に位置している少なくとも１つ以上の周辺ピクセルを用いて、垂直方向の線形補間に用いられる仮想のピクセルを生成する。そして、イントラ予測部４１０、５５０は、仮想のピクセル及び周辺ピクセルを用いた水平方向及び垂直方向の線形補間を通じて生成された２つの予測子の平均値を用いて、現在ピクセルの予測値を生成する。

【0158】

図２０Ａを参照すれば、イントラ予測部４１０、５５０は、現在予測単位２０１０の右上側に位置している少なくとも１つの周辺ピクセル２０２０を用いて、現在予測単位２０１０の予測される現在ピクセル２０１１と同じ行に位置しつつ、現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセル２０１２を獲得する。第１ピクセル２０１２の獲得に用いられる右上側周辺ピクセル２０２０の数は予め設定される。例えば、イントラ予測部４１０、５５０は、最初の２個の右上側周辺ピクセルであるＴ１ ２０２１及びＴ２ ２０２２の平均値や加重平均値を用いて生成された値を、第１ピクセル２０１２と定める。

【0159】

また、イントラ予測部４１０、５５０は、第１ピクセル２０１２の獲得に用いられる右上側周辺ピクセル２０２０の数を、現在予測単位２０１０のサイズに基づいて定める。例えば、現在予測単位のサイズをｎＳ×ｎＳ（ｎＳは、整数）とすれば、イントラ予測部４１０、５５０は、第１ピクセル２０１２の獲得に用いられる右上側周辺ピクセル２０２０のうちｎＳ／（２＾ｍ）（ｍは、２＾ｍがｎＳより大きくない条件を満たす整数）個の右上側周辺ピクセルを選択し、選択された右上側周辺ピクセルの平均値や加重平均値などを用いて第１ピクセル２０１２を獲得する。すなわち、イントラ予測部４１０、５５０は、右上側周辺ピクセル２０２０のうちｎＳ／２、ｎＳ／４、ｎＳ／８、…個のピクセルを選択できる。例えば、現在予測単位２０１０のサイズが３２×３２の場合、イントラ予測部４１０、５５０は、３２／２、３２／４、３２／８、３２／１６、３２／３２、すなわち、１〜１６個の右上側周辺ピクセルを選択できる。

【0160】

類似して、図２０Ｂを参照すれば、イントラ予測部４１０、５５０は、現在予測単位２０１０の左下側に位置している少なくとも１つの周辺ピクセル２０３０を用いて、現在予測単位２０１０の予測される現在ピクセル２０１１と同じ列に位置しつつ、現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセル２０１４を獲得する。第２ピクセル２０１４の獲得に用いられる左下側周辺ピクセル２０３０の数は、予め設定される。例えば、イントラ予測部４１０、５５０は、最初の２個の左下側周辺ピクセルであるＬ１ ２０３１及びＬ２ ２０３２の平均値や加重平均値を用いて生成された値を、第２ピクセル２０１４と定める。

【0161】

また、イントラ予測部４１０、５５０は、第２ピクセル２０１４の獲得に用いられる左下側周辺ピクセル２０３０の数を、現在予測単位２０１０のサイズに基づいて定める。前述した例のように、現在予測単位のサイズをｎＳ×ｎＳ（ｎＳは、整数）とする時、イントラ予測部４１０、５５０は、第２ピクセル２０１４の獲得に用いられる左下側周辺ピクセル２０３０のうちｎＳ／（２＾ｍ）（ｍは、２＾ｍがｎＳより大きくない条件を満たす整数）個の左下側周辺ピクセルを選択し、選択された左下側周辺ピクセルの平均値や加重平均値などを用いて第２ピクセル２０１４を獲得する。

【0162】

一方、右上側周辺ピクセル２０２０が、現在予測単位２０１０以後に符号化される予測単位に含まれていて利用不可の場合ならば、イントラ予測部４１０、５５０は、右上側周辺ピクセル２０２０と左側に最も近いＴ０ピクセルを仮想の第１ピクセル２０１２として用いられる。また、左下側周辺ピクセル２０３０が、現在予測単位２０１０以後に符号化される予測単位に含まれていて利用不可の場合ならば、イントラ予測部４１０、５５０は、左下側周辺ピクセル２０４０と上側に最も近いＬ０ピクセルを仮想の第２ピクセル２０１４として用いられる。

【0163】

再び図２０Ａを参照すれば、イントラ予測部４１０、５５０は、右上側周辺ピクセル２０２０から獲得された第１ピクセル２０１２と現在ピクセル２０１１との距離、現在ピクセル２０１１とそれと同じ行に位置している左側周辺ピクセル２０１３との距離を考慮した幾何平均値を用いて線形補間を行うことで、現在ピクセル２０１１の第１予測値Ｐ１を生成する。

【0164】

現在予測単位２０１０の現在ピクセル２０１１の位置を（ｘ，ｙ）（ｘ，ｙ＝０、１、…ｎＳ−１）、現在予測単位２０１０の周辺ピクセルをｒｅｃ（ｘ，ｙ）（ｘ，ｙ＝−１…２＊ｎＳ−１）とする時、左側周辺ピクセル２０１２のピクセル値はｒｅｃ（−１，ｙ）であり、（ｎＳ−１、ｙ）に位置している第１ピクセル２０１２のピクセル値をＴ（Ｔは、実数）、現在ピクセルの予測値をｐ（ｘ，ｙ）（ｘ，ｙ＝０…ｎＳ−１）とすれば、第１予測値ｐ１（ｘ，ｙ）は、次の数式；ｐ１（ｘ，ｙ）＝（ｎＳ−１−ｘ）＊ｒｅｃ（−１，ｙ）＋（ｘ＋１）＊Ｔによって獲得される。前記数式で（ｎｓ−１−ｘ）は、現在ピクセル２０１１課題１ピクセル２０１２との距離に当たり、（ｘ＋１）は、現在ピクセル２０１１と左側周辺ピクセル２０１３との距離に当たる。このように、イントラ予測部４１０、５５０は、第１ピクセル２０１２と現在ピクセル２０１１との距離、現在ピクセル２０１１とそれと同じ行に位置している左側周辺ピクセル２０１３との距離、及び第１ピクセル２０１２のピクセル値と左側周辺ピクセル２０１３のピクセル値とを用いた線形補間を通じて第１予測値Ｐ１を生成する。

【0165】

再び図２０Ｂを参照すれば、イントラ予測部４１０、５５０は、左下側周辺ピクセル２０３０から獲得された第２ピクセル２０１４と現在ピクセル２０１１との距離、現在ピクセル２０１１とそれと同じ列に位置している上側周辺ピクセル２０１５との距離を考慮した幾何平均値を用いて線形補間を行うことで、現在ピクセル２０１１の第２予測値Ｐ２を生成する。

【0166】

現在予測単位２０１０の現在ピクセル２０１１の位置を（ｘ，ｙ）（ｘ，ｙ＝０、１、…ｎＳ−１）、現在予測単位２０１０の周辺ピクセルをｒｅｃ（ｘ，ｙ）（ｘ，ｙ＝−１…２＊ｎＳ−１）とする時、上側周辺ピクセル２０１５のピクセル値はｒｅｃ（ｘ，−１）であり、（ｘ，ｎＳ−１）に位置している第２ピクセル２０１４のピクセル値をＬ（Ｌは、実数）、現在ピクセル２０１１の予測値をｐ（ｘ，ｙ）（ｘ，ｙ＝０…ｎＳ−１）とすれば、第２予測値ｐ２（ｘ，ｙ）は、次の数式；ｐ２（ｘ，ｙ）＝（ｎＳ−１−ｙ）＊ｒｅｃ（ｘ，−１）＋（ｙ＋１）＊Ｌによって獲得される。前記数式で（ｎｓ−１−ｙ）は、現在ピクセル２０１１と第２ピクセル２０１４との距離に当たり、（ｙ＋１）は、現在ピクセル２０１１と上側周辺ピクセル２０１５との距離に当たる。このように、イントラ予測部４１０、５５０は、第２ピクセル２０１４と現在ピクセル２０１１との距離、現在ピクセル２０１１とそれと同じ列に位置している上側周辺ピクセル２０１５との距離、及び第２ピクセル２０１４のピクセル値と上側周辺ピクセル２０１５のピクセル値とを用いた線形補間を通じて第２予測値Ｐ２を生成する。

【0167】

このように、水平方向及び垂直方向の線形補間を通じて、第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）が獲得されれば、イントラ予測部４１０、５５０は、第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）の平均値を用いて現在ピクセルの予測値ｐ（ｘ，ｙ）を獲得する。具体的に、イントラ予測部４１０、５５０は、次の数式；ｐ（ｘ，ｙ）＝｛ｐ１（ｘ，ｙ）＋ｐ２（ｘ，ｙ）＋ｎＳ｝＞＞（ｋ＋１）（ｋは、ｌｏｇ_２ｎＳ）によって現在ピクセルの予測値ｐ（ｘ，ｙ）を獲得する。

【0168】

一方、イントラ予測部４１０、５５０は、第１ピクセル及び第２ピクセルの獲得に用いられる右上側周辺ピクセル及び左下側周辺ピクセルをそのまま用いるものではなく、フィルタリングされた右上側周辺ピクセル及び左下側周辺ピクセルを用いて第１ピクセル及び第２ピクセルを獲得する。

【0169】

図２１は、本発明の一実施形態によって現在予測単位周辺のフィルタリングされる周辺ピクセルを示す図面である。図２１を参照すれば、イントラ予測部４１０、５５０は、現在イントラ予測される現在予測単位２１００の上側のＸ個の周辺ピクセル２１１０及び左側のＹ個の周辺ピクセル２１２０について少なくとも１回以上のフィルタリングを行って、フィルタリングされた周辺ピクセルを生成する。ここで、現在予測単位２１００のサイズをｎＳ×ｎＳとすれば、Ｘ＝２ｎＳ、Ｙ＝２ｎＳであることが望ましい。

【0170】

ｎＳ×ｎＳサイズの現在予測単位２１００の上側及び左側に隣接しているＸ＋Ｙ個の原周辺ピクセルをＣｏｎｔｅｘｔＯｒｇ［ｎ］（ｎは、０からＸ＋Ｙ−１までの整数）とすれば、左側の周辺ピクセルのうち最下端の周辺ピクセルがｎ＝０の場合、すなわち、ＣｏｎｔｅｘｔＯｒｇ［０］であり、かつ上側の周辺ピクセルのうち最右側の周辺ピクセルがｎ＝Ｘ＋Ｙ−１、すなわち、ＣｏｎｔｅｘｔＯｒｇ［Ｘ＋Ｙ−１］に設定される。

【0171】

図２２は、周辺ピクセルのフィルタリング過程を説明するための参照図である。図２２を参照すれば、現在予測単位の上側及び左側に隣接している原周辺ピクセルをＣｏｎｔｅｘｔＯｒｇ［ｎ］（ｎは０から４ｎＳ−１までの整数）とすれば、原周辺ピクセル間の加重平均値を通じて原周辺ピクセルがフィルタリングされる。第１回フィルタリングされた周辺ピクセルをＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ］とすれば、次の数式；ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ］＝（ＣｏｎｔｅｘｔＯｒｇ［ｎ−１］＋２＊ＣｏｎｔｅｘｔＯｒｇ［ｎ］＋ＣｏｎｔｅｘｔＯｒｇ［ｎ＋１］）／４のように、原周辺ピクセル（ＣｏｎｔｅｘｔＯｒｇ［ｎ］）に３タップフィルタを適用してフィルタリングされた周辺ピクセルが獲得される。類似して、第１回フィルタリングされた周辺ピクセル（ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ］）間の加重平均値を再び計算して、第２回フィルタリングされた周辺ピクセル（ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ２［ｎ］）を生成してもよい。例えば、次の数式；ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ２［ｎ］＝（ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ−１］＋２＊ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ］＋ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ＋１］）／４のようにフィルタリングされた周辺ピクセル（ＣｏｎｔｅｘｔＦｉｌｔｅｒｅｄ１［ｎ］）に３タップフィルタを適用してフィルタリングされた周辺ピクセルを生成してもよい。

【0172】

これに限定されずに多様な方式で周辺ピクセルをフィルタリングした後、イントラ予測部４１０、５５０は、前述したように少なくとも１つ以上のフィルタリングされた右上側周辺ピクセルから第１ピクセルを獲得し、少なくとも１つ以上のフィルタリングされた左下側周辺ピクセルから第２ピクセルを獲得した後、前述したような線形補間を通じて現在ピクセルの予測値を生成できる。このようなフィルタリングされた周辺ピクセルを用いるかどうかは、現在予測単位のサイズに基づいて定められる。例えば、フィルタリングされた周辺ピクセルは、現在予測単位のサイズが１６×１６以上の場合にのみ用いられる。

【0173】

図２３は、本発明の一実施形態によるプランナーモードによるイントラ予測方法を示すフローチャートである。

【0174】

段階２３１０で、イントラ予測部４１０、５５０は、現在予測単位の右上側に位置している少なくとも１つの周辺ピクセルを用いて、現在予測単位の予測される現在ピクセルと同じ行に位置しつつ、現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセルを獲得する。前述したように、第１ピクセルの獲得に用いられる右上側の周辺ピクセルの数は予め設定されるか、または現在予測単位のサイズに基づいて定められる。

【0175】

段階２３２０で、イントラ予測部４１０、５５０は、現在予測単位の左下側に位置している少なくとも１つの周辺ピクセルを用いて、現在ピクセルと同じ列に位置しつつ、現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセルを獲得する。前述したように、第２ピクセルの獲得に用いられる左下側の周辺ピクセルの数は、予め設定されるか、または現在予測単位のサイズに基づいて定められる。

【0176】

段階２３３０で、イントラ予測部４１０、５５０は、第１ピクセル及び現在ピクセルと同じ行に位置している左側周辺ピクセルを用いた線形補間を通じて、現在ピクセルの第１予測値を獲得する。前述したように、現在ピクセルの位置を（ｘ，ｙ）（ｘ，ｙ＝０、１、…ｎＳ−１）、現在予測単位の周辺ピクセルをｒｅｃ（ｘ，ｙ）（ｘ，ｙ＝−１…２＊ｎＳ−１）とする時、左側周辺ピクセルのピクセル値はｒｅｃ（−１，ｙ）であり、（ｎＳ−１、ｙ）に位置している第１ピクセルのピクセル値をＴ（Ｔは、実数）、現在ピクセルの予測値をｐ（ｘ，ｙ）（ｘ，ｙ＝０…ｎＳ−１）とすれば、第１予測値ｐ１（ｘ，ｙ）は、次の数式；ｐ１（ｘ，ｙ）＝（ｎＳ−１−ｘ）＊ｒｅｃ（−１，ｙ）＋（ｘ＋１）＊Ｔによって獲得される。

【0177】

段階２３４０で、イントラ予測部４１０、５５０は、第２ピクセル及び現在ピクセルと同じ列に位置している上側周辺ピクセルを用いた線形補間を通じて、現在ピクセルの第２予測値を獲得する。上側周辺ピクセルのピクセル値はｒｅｃ（ｘ，−１）であり、（ｘ，ｎＳ−１）に位置している第２ピクセルのピクセル値をＬ（Ｌは、実数）とすれば、第２予測値ｐ２（ｘ，ｙ）は、次の数式；ｐ２（ｘ，ｙ）＝（ｎＳ−１−ｙ）＊ｒｅｃ（ｘ，−１）＋（ｙ＋１）＊Ｌによって獲得される。

【0178】

段階２３５０で、イントラ予測部４１０、５５０は、第１予測値及び第２予測値を用いて現在ピクセルの予測値を獲得する。前述したように、水平方向及び垂直方向の線形補間を通じて第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）が獲得されれば、イントラ予測部４１０、５５０は、第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）の平均値を用いて現在ピクセルの予測値ｐ（ｘ，ｙ）を獲得する。具体的に、イントラ予測部４１０、５５０は、次の数式；ｐ（ｘ，ｙ）＝｛ｐ１（ｘ，ｙ）＋ｐ２（ｘ，ｙ）＋ｎＳ｝＞＞（ｋ＋１）（ｋはｌｏｇ_２ｎＳ）によって現在ピクセルの予測値ｐ（ｘ，ｙ）を獲得する。

【0179】

本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるすべての記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれる。またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行される。

【0180】

これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということを理解できるであろう。本発明の範囲は、前述した説明ではなく特許請求の範囲に現われており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。

【0181】

なお、実施形態に関して次の付記を記す。
（付記１） 映像のイントラ予測方法において、
現在予測単位の右上側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在予測単位の予測される現在ピクセルと同じ行に位置しつつ、前記現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセルを獲得する段階と、
前記現在予測単位の左下側に位置している少なくとも１つの周辺ピクセルを用いて前記現在ピクセルと同じ列に位置しつつ、前記現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセルを獲得する段階と、
前記第１ピクセル及び前記現在ピクセルと同じ行に位置している左側周辺ピクセルを用いた線形補間を通じて、前記現在ピクセルの第１予測値を獲得する段階と、
前記第２ピクセル及び前記現在ピクセルと同じ列に位置している上側周辺ピクセルを用いた線形補間を通じて、前記現在ピクセルの第２予測値を獲得する段階と、
前記第１予測値及び前記第２予測値を用いて前記現在ピクセルの予測値を獲得する段階と、を含むことを特徴とする映像のイントラ予測方法。
（付記２） 前記第１ピクセルは、前記現在予測単位の右上側に位置している２個のピクセルの平均値を用いて獲得され、
前記第２ピクセルは、前記現在予測単位の左下側に位置している２個のピクセルの平均値を用いて獲得されることを特徴とする付記１に記載の映像のイントラ予測方法。
（付記３） 前記第１ピクセル及び前記第２ピクセルの獲得に用いられる前記現在予測単位の右上側に位置している周辺ピクセルの数、及び左下側に位置している周辺ピクセルの数は、前記現在予測単位のサイズに基づいて定められることを特徴とする付記１に記載の映像のイントラ予測方法。
（付記４） 前記現在予測単位のサイズをＮ×Ｎ（Ｎは、整数）とする時、前記第１ピクセル及び前記第２ピクセルの獲得に用いられる前記現在予測単位の右上側に位置している周辺ピクセルの数、及び左下側に位置している周辺ピクセルの数は、Ｎ／（２＾ｍ）（ｍは、２＾ｍがＮより大きくない条件を満たす整数）であることを特徴とする付記３に記載の映像のイントラ予測方法。
（付記５） 前記第１ピクセル及び第２ピクセルは、前記周辺ピクセルの平均値を用いて獲得されることを特徴とする付記１に記載の映像のイントラ予測方法。
（付記６） 前記第１ピクセル及び第２ピクセルは、前記周辺ピクセルの加重平均値を用いて獲得されることを特徴とする付記１に記載の映像のイントラ予測方法。
（付記７） 前記第１予測値を獲得する段階は、
前記第１ピクセルと前記現在ピクセルとの距離、前記現在ピクセルと同じ行に位置している左側周辺ピクセル間の距離を考慮した幾何平均値を用いて前記第１予測値を獲得し、
前記第２予測値を獲得する段階は、
前記第２ピクセルと前記現在ピクセルとの距離、前記現在ピクセルとそれと同じ列に位置している上側周辺ピクセルとの距離を考慮した幾何平均値を用いて前記第２予測値を獲得することを特徴とする付記１に記載の映像のイントラ予測方法。
（付記８） 前記現在予測単位は、ｎＳ×ｎＳ（ｎＳは、整数）であり、前記現在予測単位の周辺ピクセルをｒｅｃ（ｘ，ｙ）（ｘ，ｙ＝−１…２＊ｎＳ−１）、前記第１ピクセルをＴ（Ｔは、実数）、前記第２ピクセルをＬ（Ｌは、実数）、前記現在ピクセルの予測値をｐ（ｘ，ｙ）（ｘ，ｙ＝０…ｎＳ−１）、第１予測値をｐ１（ｘ，ｙ）、第２予測値をｐ２（ｘ，ｙ）とする時、
前記第１予測値ｐ１（ｘ，ｙ）は、次の数式；ｐ１（ｘ，ｙ）＝（ｎＳ−１−ｘ）＊ｒｅｃ（−１，ｙ）＋（ｘ＋１）＊Ｔによって獲得され、
前記第２予測値ｐ２（ｘ，ｙ）は、次の数式；ｐ２（ｘ，ｙ）＝（ｎＳ−１−ｙ）＊ｒｅｃ（ｘ，−１）＋（ｙ＋１）＊Ｌ）によって獲得され、
前記現在ピクセルの予測値ｐ（ｘ，ｙ）は、前記第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）の平均値を用いて獲得されることを特徴とする付記７に記載の映像のイントラ予測方法。
（付記９） 前記現在ピクセルの予測値ｐ（ｘ，ｙ）は、次の数式；ｐ（ｘ，ｙ）＝｛ｐ１（ｘ，ｙ）＋ｐ２（ｘ，ｙ）＋ｎＳ｝＞＞（ｋ＋１）（ｋは、ｌｏｇ_２ｎＳ）によって獲得されることを特徴とする付記８に記載の映像のイントラ予測方法。
（付記１０） 前記現在予測単位の上側及び左側に位置している周辺ピクセルに対するフィルタリングを行う段階をさらに含み、
前記現在予測単位の右上側及び左下側に位置している少なくとも１つのフィルタリングされた周辺ピクセルを用いて前記第１ピクセル及び第２ピクセルを獲得し、前記第１予測値及び前記第２予測値の生成に用いられる左側周辺ピクセル及び上側周辺ピクセルは、フィルタリングされた周辺ピクセルであることを特徴とする付記１に記載の映像のイントラ予測方法。
（付記１１） 前記周辺ピクセルに対するフィルタリングを行う段階は、
前記周辺ピクセル間の加重平均値を用いることを特徴とする付記１０に記載の映像のイントラ予測方法。
（付記１２） 前記フィルタリングを行う段階は、前記現在予測単位のサイズが所定サイズ以上の場合に行われることを特徴とする付記１０に記載の映像のイントラ予測方法。
（付記１３） 映像のイントラ予測装置において、
現在予測単位の右上側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在予測単位の予測される現在ピクセルと同じ行に位置しつつ、前記現在予測単位の最右側に位置しているピクセルに対応する仮想の第１ピクセルを獲得し、前記現在予測単位の左下側に位置している少なくとも１つの周辺ピクセルを用いて、前記現在ピクセルと同じ列に位置しつつ、前記現在予測単位の最下側に位置しているピクセルに対応する仮想の第２ピクセルを獲得し、前記第１ピクセル及び前記現在ピクセルと同じ行に位置している左側周辺ピクセルを用いた線形補間を通じて前記現在ピクセルの第１予測値を獲得し、前記第２ピクセル及び前記現在ピクセルと同じ列に位置している上側周辺ピクセルを用いた線形補間を通じて前記現在ピクセルの第２予測値を獲得し、前記第１予測値及び前記第２予測値を用いて前記現在ピクセルの予測値を獲得するイントラ予測部を備えることを特徴とする映像のイントラ予測装置。
（付記１４） 前記イントラ予測部は、
前記第１ピクセルと前記現在ピクセルとの距離、前記現在ピクセルと同じ行に位置している左側周辺ピクセル間の距離を考慮した幾何平均値を用いて前記第１予測値を獲得し、前記第２ピクセルと前記現在ピクセルとの距離、前記現在ピクセルとそれと同じ列に位置している上側周辺ピクセルとの距離を考慮した幾何平均値を用いて前記第２予測値を獲得することを特徴とする付記１３に記載の映像のイントラ予測装置。
（付記１５） 前記現在予測単位は、ｎＳ×ｎＳ（ｎＳは、整数）であり、前記現在予測単位の周辺ピクセルをｒｅｃ（ｘ，ｙ）（ｘ，ｙ＝−１…２＊ｎＳ−１）、前記第１ピクセルをＴ（Ｔは、実数）、前記第２ピクセルをＬ（Ｌは、実数）、前記現在ピクセルをｐ（ｘ，ｙ）（ｘ，ｙ＝０…ｎＳ−１）、第１予測値をｐ１（ｘ，ｙ）、第２予測値をｐ２（ｘ，ｙ）とする時、
前記第１予測値ｐ１（ｘ，ｙ）は、次の数式；ｐ１（ｘ，ｙ）＝（ｎＳ−１−ｘ）＊ｒｅｃ（−１，ｙ）＋（ｘ＋１）＊Ｔによって獲得され、
前記第２予測値ｐ２（ｘ，ｙ）は、次の数式；ｐ２（ｘ，ｙ）＝（ｎＳ−１−ｙ）＊ｒｅｃ（ｘ，−１）＋（ｙ＋１）＊Ｌ）によって獲得され、
前記現在ピクセルの予測値ｐ（ｘ，ｙ）は、前記第１予測値ｐ１（ｘ，ｙ）及び第２予測値ｐ２（ｘ，ｙ）の平均値を用いて獲得されることを特徴とする付記１４に記載の映像のイントラ予測装置。

【符号の説明】

【0182】

１００ ビデオ符号化装置
１１０ 最大符号化単位分割部
１２０ 符号化単位決定部
１３０ 出力部
２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20A】

【図20B】

【図21】

【図22】

【図23】