▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-11
(45)【発行日】2022-07-20
(54)【発明の名称】ビデオのイントラ予測方法及びその装置
(51)【国際特許分類】
H04N 19/593 20140101AFI20220712BHJP
【ＦＩ】
H04N19/593
【請求項の数】
2
(21)【出願番号】P 2019007273
(22)【出願日】2019-01-18
(62)【分割の表示】P 2016221866の分割
【原出願日】2012-10-29
(65)【公開番号】P2019057954
(43)【公開日】2019-04-11
【審査請求日】2019-01-18
【審判番号】
【審判請求日】2020-12-04
(31)【優先権主張番号】61/552,692
(32)【優先日】2011-10-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】リ，タミー
(72)【発明者】
【氏名】チェン，ジアンル
【合議体】
【審判長】清水 正一
【審判官】畑中 高行
【審判官】川崎 優
(56)【参考文献】
【文献】国際公開第２０１２／０９０５０１（ＷＯ，Ａ１）
【文献】Ｙｏｎｇｂｉｎｇ Ｌｉｎ ｅｔ ａｌ．， ＣＥ４ Ｓｕｂｓｅｔ２： Ｒｅｐｏｒｔ ｏｆ Ｉｎｔｒａ Ｃｏｄｉｎｇ Ｉｍｐｒｏｖｅｍｅｎｔｓ ｆｏｒ Ｓｌｉｃｅ Ｂｏｕｎｄａｒｙ Ｂｌｏｃｋｓ， ＪＣＴＶＣ－Ｅ２８３．ｄｏｃｘ［ｏｎｌｉｎｅ］，２０１１年３月１１日， ＵＲＬ， ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／５＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ－Ｅ２８３－ｖ１．ｚｉｐ
【文献】Ｘｉａｎｇｌｉｎ Ｗａｎｇ ｅｔ ａｌ．， ＡＨＧ１６： Ｐａｄｄｉｎｇ ｐｒｏｃｅｓｓ ｓｉｍｐｌｉｆｉｃａｔｉｏｎ， ＪＣＴＶＣ－Ｇ８１２＿ｒ２．ｄｏｃ［ｏｎｌｉｎｅ］， ２０１１年１１月２４日， ＵＲＬ， ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／７＿Ｇｅｎｅｖａ／ｗｇ１１／ＪＣＴＶＣ－Ｇ８１２－ｖ４．ｚｉｐ
(58)【調査した分野】(Int.Cl.，ＤＢ名)
H04N19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ビデオのイントラ予測方法において、前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する段階と、
前記所定個数の周辺ピクセルのうち左上側に位置した第１周辺ピクセルが利用不可能な場合、前記現在ブロックの左側に隣接した周辺ピクセルのうち、前記左上側に位置した第１周辺ピクセルと最も近く、前記第１周辺ピクセルの下に位置した利用可能な第２周辺ピクセルのピクセル値に前記第１周辺ピクセルのピクセル値を代替する段階と、
前記現在ブロックの上側に位置した周辺ピクセルのうち利用不可能な第３周辺ピクセルを前記第３周辺ピクセルの左側に位置した利用可能な周辺ピクセルのピクセル値に代替する段階と、
前記代替された周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含み、
前記現在ブロックの大きさをｎＴ×ｎＴ（ｎＴは整数）とするとき、前記周辺ピクセルは、前記現在ブロックの左側に位置した２ｎＴ個のピクセル、前記現在ブロックの上側に位置した２ｎＴ個のピクセル、及び前記現在ブロックの左上側に位置した１個のピクセルを含む、
ことを特徴とするビデオの復号方法。
【請求項2】
ビデオのイントラ予測装置において、前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する利用可能性判断部と、
前記所定個数の周辺ピクセルのうち左上側に位置した所定位置の第１周辺ピクセルが利用不可能な場合、前記現在ブロックの左側に隣接した周辺ピクセルのうち、前記左上側に位置した第１周辺ピクセルと最も近く、前記第１周辺ピクセルの下に位置した利用可能な第２周辺ピクセルのピクセル値に前記第１周辺ピクセルのピクセル値を代替し、
前記現在ブロックの上側に位置した周辺ピクセルのうち利用不可能な第３周辺ピクセルを前記第３周辺ピクセルの左側に位置した利用可能な周辺ピクセルのピクセル値に代替する代替部と、
前記代替された周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含み、
前記現在ブロックの大きさをｎＴ×ｎＴ（ｎＴは整数）とするとき、前記周辺ピクセルは、前記現在ブロックの左側に位置した２ｎＴ個のピクセル、前記現在ブロックの上側に位置した２ｎＴ個のピクセル、及び前記現在ブロックの左上側に位置した1個のピクセルを含む、
ことを特徴とするビデオの復号装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオのイントラ予測に係り、さらに具体的には、周辺ピクセルの利用を制限する制限イントラ予測モードで利用不可能な周辺ピクセルを代替し、参照ピクセルとして利用するビデオのイントラ予測方法及びその装置に関する。
【背景技術】
【0002】
ＭＰＥＧ（moving picture experts group）－１、ＭＰＥＧ－２、ＭＰＥＧ－４、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、１枚のピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能な全ての符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化に所要するビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とにより、符号化モードを一つ選択してマクロブロックを符号化する。
【0003】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックスの必要性が増大している。既存のビデオコーデックスによれば、ビデオは、所定サイズのマクロブロックに基づいて制限された予測モードによって符号化されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする技術的課題は、イントラ予測に利用される周辺ピクセルが制限される制限イントラ予測モードで利用不可能な周辺ピクセルを代替する方法を提供するためのものである。
【課題を解決するための手段】
【0005】
ビデオのイントラ予測方法は、現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断し、利用不可能な第１周辺ピクセルが存在する場合、第１周辺ピクセルを基準にして、既定方向に所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索し、第１周辺ピクセルのピクセル値を、検索された第２周辺ピクセルのピクセル値に代替する。所定位置の第１周辺ピクセルを除き、他の位置の利用不可能な第３周辺ピクセルについては、所定方向にすぐ隣接した周辺ピクセルを利用した代替過程が遂行される。
【発明の効果】
【0006】
本発明によれば、利用不可能な周辺ピクセルを、既定の検索方向に基づいて利用可能な周辺ピクセルを検索し、代替過程に利用することにより、イントラ予測に利用される参照ピクセルを決定する過程の複雑度を低減させることができる。
【図面の簡単な説明】
【0007】
【図1】本発明の一実施形態によるビデオ符号化装置のブロック図である。
【図2】本発明の一実施形態によるビデオ復号化装置のブロック図である。
【図3】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図4】本発明の一実施形態による、符号化単位に基づく映像符号化部のブロック図である。
【図5】本発明の一実施形態による、符号化単位に基づく映像復号化部のブロック図である。
【図6】本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図7】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図9】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図10】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図11】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図12】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図13】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図14】本発明の一実施形態による予測単位の大きさによるイントラ予測モードの個数を図示する図面である。
【図15】本発明の一実施形態による、多様な方向性を有するイントラ予測モードについて説明するための参照図である。
【図16】本発明の一実施形態によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと現在ピクセルとの関係について説明するための図面である。
【図17】本発明の一実施形態によるイントラ予測モード方向を示した図面である。
【図18】本発明の一実施形態によるイントラ予測モード方向を示した図面である。
【図19】本発明の一実施形態による、３３の方向性を有するイントラ予測モードの方向を示した図面である。
【図20】本発明の一実施形態による、周辺ブロックの類型によって、現在ブロックのイントラ予測時、利用不可能な周辺ピクセルを示した図面である。
【図21】本発明の一実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。
【図22】本発明の他の実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。
【図23】本発明のさらに他の実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。
【図24】本発明の一実施形態によるイントラ予測装置の構成を示す図面である。
【図25A】現在ブロック周辺のフィルタリングされる周辺ピクセルを示した図面である。
【図25B】現在ブロックの周辺ピクセルのフィルタリング過程について説明するための参照図である。
【図26】本発明の一実施形態によるビデオのイントラ予測方法を示したフローチャートである。
【図27A】一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。
【図27B】ディスクを利用してプログラムを記録して判読するためのディスクドライブを図示する図面である。
【図28】コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。
【図29】一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造図示する図面である。
【図30】一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。
【図31】本発明による通信システムが適用されたデジタル放送システムを図示する図面である。
【図32】本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【0008】
本発明の一実施形態によるビデオのイントラ予測方法は、前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する段階と、前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する段階と、前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する段階と、前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含むことを特徴とする。
【0009】
本発明の一実施形態によるビデオのイントラ予測方法において、所定個数の周辺ピクセルの利用可能性を判断する段階は、インター予測された周辺ブロック、または前記現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルを利用不可能であると判断する。
【0010】
本発明の一実施形態によるビデオのイントラ予測方法において、第１周辺ピクセルは、前記所定個数の周辺ピクセルのうち既定位置のピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、既定方向に前記所定個数の周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセルを、前記第２周辺ピクセルとして決定することができる。
【0011】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記現在ブロックの上側及び右上側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することができる。
【0012】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記現在ブロックの左側及び左下側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することができる。
【0013】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、前記検索された利用可能な左側周辺ピクセル及び上側周辺ピクセルの平均値を利用して、前記第１周辺ピクセルのピクセル値を代替することができる。
【0014】
本発明の他の実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、前記検索された左側周辺ピクセル及び上側周辺ピクセルのうち、前記第１周辺ピクセルとの距離がさらに近い周辺ピクセルを、前記第２周辺ピクセルとして決定することができる。
【0015】
本発明のさらに他の実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち最左下側に位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、下側から上側の方向に、前記現在ブロックの左側及び左下側に位置した周辺ピクセルを検索し、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの上側及び右上側の周辺ピクセルを左側から右側の方向に検索し、前記第２周辺ピクセルを検索することができる。
【0016】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち最右上側に位置した周辺ピクセルであり、前記第２周辺ピクセルを検索する段階は、前記第１周辺ピクセルを基準にして、右側から左側の方向に、前記現在ブロックの上側及び右上側に位置した周辺ピクセルを検索し、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの左側及び左下側の周辺ピクセルを上側から下側の方向に検索し、前記第２周辺ピクセルを検索することができる。
【0017】
本発明の一実施形態によるビデオのイントラ予測方法において、利用不可能な第３周辺ピクセルが存在する場合、前記既定方向に基づいて、以前に検索された隣接した周辺ピクセルのピクセル値を利用して、前記第３周辺ピクセルのピクセル値を代替する段階をさらに含んでもよい。
【0018】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することができる。
【0019】
本発明の一実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの最左下側コーナーに位置した周辺ピクセルであり、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、前記第３周辺ピクセルの下側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することができる。
【0020】
本発明の他の実施形態によるビデオのイントラ予測方法において、前記第１周辺ピクセルは、前記現在ブロックの最右上側コーナーに位置した周辺ピクセルであり、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、前記第３周辺ピクセルの右側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することができる。
【0021】
本発明のさらに他の実施形態によるビデオのイントラ予測方法において、前記検索された第２周辺ピクセルのピクセル値に代替する段階は、前記所定個数の周辺ピクセルのうち、前記利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルのピクセル値を所定値に代替することができる。
【0022】
本発明の一実施形態によるビデオのイントラ予測方法において、所定値は、ピクセルのビット深度に基づいて決定された値でもある。
【0023】
本発明の一実施形態によるビデオのイントラ予測装置は、前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する利用可能性判断部と、前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索し、前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する代替部と、前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含むことを特徴とする。
【0024】
以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。
【0025】
図１は、本発明の一実施形態によるビデオ符号化装置のブロック図を図示している。一実施形態によるビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。
【0026】
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズ８より大きい２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に符号化単位決定部１２０に出力される。
【0027】
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【0028】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。
【0029】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【0030】
符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化して、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【0031】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【0032】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数が増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。
【0033】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【0034】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定される。
【0035】
最大符号化単位の予測符号化及び周波数変換が行われる。予測符号化及び周波数変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【0036】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位について、予測符号化及び周波数変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び周波数変換について説明する。
【0037】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、周波数変換、エントロピー符号化のような段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
【0038】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。
【0039】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。
【0040】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になって、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【0041】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【0042】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの周波数変換を行うことができる。
【0043】
符号化単位の周波数変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさのデータ単位を基に、周波数変換が行われる。例えば、周波数変換のためのデータ単位は、イントラモードのためのデータ単位、及びインターモードのためのデータ単位を含んでもよい。
【0044】
以下、周波数変換の基盤になるデータ単位を、「変換単位」と呼ぶ。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
【0045】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさが、Ｎ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【0046】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、周波数変換のための変換単位の大きさなどを決定することができる。
【0047】
【0048】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。
【0049】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。
【0050】
符号化された映像データは、映像の残差データの符号化結果でもある。
【0051】
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。
【0052】
符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【0053】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【0054】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。
【0055】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。
【0056】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【0057】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。また、ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報は、ビットストリームのヘッダに挿入される。
【0058】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【0059】
従って、一実施形態によるビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【0060】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
【0061】
図２は、本発明の一実施形態によるビデオ復号化装置のブロック図を図示している。一実施形態によるビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態によるビデオ復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１及びビデオ符号化装置１００を参照して説明したところと同一である。
【0062】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージング（parsing）する。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【0063】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに、映像データを復号化する。
【0064】
最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
【0065】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式により、データを復号化して映像を復元することができる。
【0066】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。
【0067】
映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び周波数逆変換過程を含んでもよい。
【0068】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【0069】
また、映像データ復号化部２３０は、最大符号化単位別周波数逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって、周波数逆変換を行うことができる。
【0070】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度において、それ以上分割されないということを示しているのであるならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
【0071】
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。
【0072】
一実施形態によるビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【0073】
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【0074】
【0075】
図３は、階層的符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【0076】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【0077】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【0078】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【0079】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。
【0080】
図４は、本発明の一実施形態による符号化単位に基づく映像符号化部のブロック図を図示している。一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうちイントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【0081】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【0082】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。
【0083】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【0084】
図５は、本発明の一実施形態による符号化単位に基づく映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、空間領域の映像データが復元される。
【0085】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。
【0086】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【0087】
ビデオ復号化装置２００の映像データ復号化部２３０において映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以降の段階別作業が遂行される。
【0088】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。
【0089】
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位こごに、それぞれパーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
【0090】
図６は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
【0091】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
【0092】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【0093】
それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【0094】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【0095】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【0096】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【0097】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。
【0098】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【0099】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【0100】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【0101】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【0102】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化したり、あるいは復号化する。符号化過程のうち、周波数変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【0103】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。
【0104】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位に、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【0105】
図８は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。
【0106】
パーティションタイプについての情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【0107】
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるか否かが設定される。
【0108】
また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に、周波数変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【0109】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用することができる。
【0110】
図９は、本発明の一実施形態による深度別符号化単位を図示している。
【0111】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【0112】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【0113】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【0114】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。
【0115】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【0116】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
【0117】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【0118】
最大深度がｄである場合、深度別分割情報は、深度ｄ－１になるまで設定され、分割情報は、深度ｄ－２まで設定される。すなわち、深度ｄ－２から分割され（９７０）、深度ｄ－１まで符号化が行われる場合、深度ｄ－１及びサイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションタイプ９９４、サイズＮ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティションタイプ９９６、サイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションタイプ９９８を含んでもよい。
【0119】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティション、２つのサイズ２Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティション、２つのサイズＮ＿（ｄ－１）ｘ２Ｎ＿（ｄ－１）のパーティション、４つのサイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。
【0120】
サイズＮ＿（ｄ－１）ｘＮ＿（ｄ－１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ－１の符号化単位ＣＵ＿（ｄ－１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ－１に決定され、パーティションタイプは、Ｎ＿（ｄ－１）ｘＮ＿（ｄ－１）に決定される。また、最大深度がｄであるので、深度ｄ－１の符号化単位９５２について、分割情報は設定されない。
【0121】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【0122】
かように、深度０，１，…，ｄ－１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【0123】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
【0124】
図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【0125】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【0126】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【0127】
変換単位１０７０において、一部の変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位であり、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に、遂行することができる。
【0128】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【0129】
【表1】
【0130】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【0131】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【0132】
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【0133】
変換単位サイズは、イントラモードで二種類のサイズ、インターモードで二種類のサイズに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさはＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【0134】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
【0135】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【0136】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【0137】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照されもする。
【0138】
図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。
【0139】
パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【0140】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【0141】
【0142】
イントラ予測部４１０，５５０は、現在予測単位の予測値を、現在予測単位の周辺ピクセルを利用して獲得するイントラ予測を行う。本発明の一実施形態によるイントラ予測部４１０，５５０は、予測単位が１６ｘ１６以上の大サイズを有することを考慮し、従来技術による限定された方向性を有するイントラ予測モード以外に、（ｄｘ，ｄｙ）パラメータを利用した多様な方向性を有するイントラ予測モードを付加的に遂行する。本発明の一実施形態による多様な方向性を有するイントラ予測モードについては、後述する。
【0143】
図１４は、本発明の一実施形態による予測単位の大きさによるイントラ予測モードの個数を図示している。
【0144】
イントラ予測部４１０，５５０は、予測単位の大きさにより、予測単位に適用するイントラ予測モードの個数を多様に設定することができる。一例として、図１４を参照すれば、イントラ予測される予測単位の大きさをＮｘＮとするとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８サイズの予測単位それぞれについて、実際に遂行されるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５個（Example ２の場合）に設定される。このように、予測単位の大きさにより、実際に遂行されるイントラ予測モードの個数を差別化する理由は、予測単位の大きさにより、予測モード情報を符号化するためのオーバーヘッドが異なるからである。すなわち、予測単位の場合、全体映像で占める部分が小さいにもかかわらず、そのような小さい予測単位の予測モードのような付加情報を伝送するためのオーバーヘッドが大きく。従って、小サイズの予測単位を過度に多くの予測モードで符号化する場合、ビット量が増加して圧縮効率が低下する。また、大サイズを有する予測単位、例えば、６４ｘ６４以上の大きさを有する予測単位は、一般的に、映像の平坦な領域に係わる予測単位として選択される場合が多いので、そのような平坦な領域を符号化するのに多く選択される大サイズの予測単位を過度に多数の予測モードで符号化することも、圧縮効率側面で非効率的である。従って、予測単位の大きさが、所定サイズよりはるかに大きいか、あるいは小さい場合には、相対的に少ない個数のイントラ予測モードのみを適用する。かような予測単位の大きさによって適用されるイントラ予測モードの個数は、図１４に限定されるものではなく、多様に設定される。図１４に図示された各予測単位の大きさによって適用される予測モードの個数は、一実施形態に過ぎず、各予測単位の大きさによる予測モードの個数は、変更される。また、各予測単位に適用されるイントラ予測モードの個数は、予測単位の大きさにかかわらず、常に一定に設定される。
【0145】
本発明の一実施形態によるイントラ予測部４１０，５５０は、予測単位に適用されるイントラ予測モードでもって、予測単位内のピクセルを中心に、所定の傾度を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを、ピクセルの予測子として利用するイントラ予測モードが含まれる。かようなラインの傾度は、（ｄｘ，ｄｙ）パラメータ（ｄｘ，ｄｙは、整数）を利用して設定される。一例として、３３の予測モードを、それぞれmode Ｎ（Ｎは、０から３２までの整数）と定義するとき、mode ０は、垂直モード、mode １は、水平モード、mode ２は、ＤＣ（direct current）モード、mode ３は、プレーンモード、mode ３２は、プラナー（planar）モードとして設定し、mode ４～mode ３１それぞれは、次の表１に表記されているように、（１，－１）、（１，１）、（１，２）、（２，１）、（１，－２）、（２，１）、（１，－２）、（２，－１）、（２，－１１）、（５，－７）、（１０，－７）、（１１，３）、（４，３）、（１，１１）、（１，－１）、（１２，－３）、（１，－１１）、（１，－７）、（３，－１０）、（５，－６）、（７，－６）、（７，－４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，－７）、（４，－３）うち１つの値に表現される（ｄｘ，ｄｙ）を利用して、ｔａｎ－１（ｄｙ／ｄｘ）の方向性を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを予測に利用するイントラ予測モードとして定義することができる。
【0146】
【表2】
【0147】
図１５は、本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。
【0148】
前述のように、本発明の一実施形態によるイントラ予測部４１０，５５０は、複数個の（ｄｘ，ｄｙ）パラメータを利用して決定されるｔａｎ－１（ｄｙ／ｄｘ）の傾度を有するラインを利用して、周辺参照ピクセルを決定し、決定された周辺参照ピクセルを利用して予測を行うことができる。
【0149】
図１５を参照すれば、現在予測単位内部の予測すべき現在ピクセルＰを中心に、表２に表記されたモード別（ｄｘ，ｄｙ）の値によって決定されるｔａｎ－１（ｄｙ／ｄｘ）の角度を有する延長線１５０上に位置した周辺ピクセルＡ，Ｂを、現在ピクセルＰの予測子として利用することができる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在予測単位の上側、左側、右上側及び左下側の以前予測単位のピクセルであることが望ましい。そのように、多様な方向性を有するイントラ予測モードによって予測符号化を行うことにより、映像の特性によって、さらに効率的な圧縮が可能である。
【0150】
図１５で、延長線１５０に位置したり、あるいは延長線１５０に近い周辺ピクセルを利用して、現在ピクセルＰの予測子を生成する場合、延長線１５０は、実際にｔａｎ－１（ｄｙ／ｄｘ）の方向性を有するが、かような延長線１５０を利用した周辺ピクセル決定のためには、（ｄｙ／ｄｘ）の除算演算が必要であるので、ハードウェアやソフトウェアで具現するとき、小数点演算を含み、演算量を増加させる要因にもなる。従って、参照ピクセルを選択するための予測方向を、（ｄｘ，ｄｙ）パラメータを利用して設定するとき、演算量を減少させることができるように、（ｄｘ，ｄｙ）を設定する必要がある。
【0151】
図１６は、本発明の一実施形態によって、（ｄｘ，ｄｙ）の方向性を有する延長線上に位置した周辺ピクセルと、現在ピクセルとの関係について説明するための図面である。図１６を参照すれば、（ｊ，ｉ）に位置した現在ピクセルをＰ １６１０、現在ピクセルＰ １６１０を通過するｔａｎ－１（ｄｙ／ｄｘ）の方向性、すなわち、傾度を有する延長線上に位置した上側周辺ピクセルをＡ １６１１、左側周辺ピクセルをＢ １６１２と定義する。現在ピクセルＰ １６１０が含まれた予測単位の大きさが、ｎＳｘｎＳ（ｎＳは、正の整数）であり、予測単位の各ピクセルの位置は、（０，０）から（ｎＳ－１，ｎＳ－１）のうち一つであり、ｘ軸上に位置した上側周辺ピクセルの位置を（ｍ，－１）（ｍは、整数）、ｙ軸上に位置した左側周辺ピクセルの位置を（－１，ｎ）（ｎは、整数）と仮定する。現在ピクセルＰ １６１０を通過する延長線と出合う上側周辺ピクセルＡ １６１１の位置は、（ｊ＋ｉ＊ｄｘ／ｄｙ，－１）、左側周辺ピクセルＢ １６１２の位置は、（－１，ｉ＋ｊ＊ｄｙ／ｄｘ）である。従って、現在ピクセルＰ １６１０の予測のために、上側周辺ピクセルＡ １６１１または左側周辺ピクセルＢ １６１２を決定するためには、ｄｘ／ｄｙまたはｄｙ／ｄｘのような除算演算が必要である。前述のように、かような除算演算は、演算複雑度が高いので、ソフトウェアまたはハードウェアで具現するとき、演算速度の低下をもたらす。従って、周辺ピクセルを決定するための予測モードの方向性を示すｄｘ及びｄｙのうち少なくとも１つの値を、２の累乗として決定することができる。すなわち、ｎ、ｍをそれぞれ整数とするとき、ｄｘ及びｄｙは、それぞれ２＾ｎ、２＾ｍでもある。
【0152】
現在ピクセルＰ １６１０の予測子として、左側周辺ピクセルＢ １６１２が利用され、ｄｘが２＾ｎの値を有する場合、左側周辺ピクセルＢ １６１２の位置である（－１，ｉ＋ｊ＊ｄｙ／ｄｘ）を決定するために必要なｊ＊ｄｙ／ｄｘ演算は、（ｉ＊ｄｙ）／（２＾ｎ）であり、かような２の累乗で除算を行う演算は、（ｉ＊ｄｙ）＞＞ｎのように、シフト演算を介して具現されるので、演算量が減少する。
【0153】
同様に、現在ピクセルＰ １６１０の予測子として、上側周辺ピクセルＡ １６１１が利用され、ｄｙが２＾ｍの値を有する場合、上側周辺ピクセルＡの位置である（ｊ＋ｉ＊ｄｘ／ｄｙ，－１）を決定するために必要なｉ＊ｄｘ／ｄｙ演算は、（ｉ＊ｄｘ）／（２＾ｍ）であり、かような２の累乗で除算を行う演算は、（ｉ＊ｄｘ）＞＞ｍのように、シフト演算を介して具現される。
【0154】
【0155】
一般的に、映像やビデオ信号で示される直線パターンは、垂直方向や水平方向である場合が多い。従って、（ｄｘ，ｄｙ）のパラメータを利用して、多様な方向性を有するイントラ予測モードを定義するとき、次のように（ｄｘ，ｄｙ）の値を定義することにより、映像のコーディング効率を向上させることができる。
【0156】
具体的には、ｄｙが２＾ｍの値に固定された値を有する場合、ｄｘの絶対値は、垂直方向に近い予測方向間の間隔を狭めるように設定され、水平方向に近い予測方向であればあるほど、予測モード間の間隔を広するように設定される。例えば、図１７を参照すれば、ｄｙが２＾５、すなわち、３２の値を有する場合、ｄｘの値を、２、５、９、１３、１７、２１、２６、３２、－２、－５、－９、－１３、－１７、－２１、－２６、－３２のように設定することにより、垂直方向に近い予測方向間の間隔は、相対的に狭くなるように設定され、水平方向に近い予測方向であればあるほど、予測モード間の間隔が相対的に広くなるように設定される。
【0157】
同様に、ｄｘが２＾ｎの値に固定された値を有する場合、ｄｙの絶対値は、水平方向に近い予測方向間の間隔が狭くなるように設定され、垂直方向に近い予測方向であればあるほど、予測モード間の間隔が広くなるように設定される。例えば、図１８を参照すれば、ｄｘが２＾５、すなわち、３２の値を有する場合、ｄｙの値を２、５、９、１３、１７、２１、２６、３２、－２、－５、－９、－１３、－１７、－２１、－２６、－３２のように設定することにより、水平方向に近い予測方向間の間隔が狭くなるように設定され、垂直方向に近い予測方向であればあるほど、予測モード間の間隔が広くなるように設定される。
【0158】
また、ｄｘ及びｄｙのうちいずれか１つの値が固定されたとき、固定されていない残りの値は、予測モード別に大きくなるように設定される。例えば、ｄｙが固定された場合、ｄｘ間の間隔が所定値ほど大きくなるように設定される。また、かような増加幅は、水平方向と垂直方向との角度を所定単位に区分し、区分された角度別に設定されもする。例えば、ｄｙが固定された場合、ｄｘの値は、垂直軸との角度が１５°以内である区間では、ａという増加幅を有し、１５°と３０°との間では、ｂという増加幅を有し、３０ 以上では、ｃという増加幅を有するように設定される。
【0159】
一例として、（ｄｘ，ｄｙ）を利用して、ｔａｎ－１（ｄｙ／ｄｘ）の方向性を有する予測モードは、下記表３ないし表５に表記された（ｄｘ，ｄｙ）パラメータを定義される。
【0160】
【表3】
【0161】
【表4】
【0162】
図１９は、本発明の一実施形態による、３３の方向性を有するイントラ予測モードの方向を示した図面である。図１９を参照すれば、イントラ予測部４１０，５５０は、図示されているような３３の方向性を有するイントラ予測モードにより、現在ピクセルの予測子に利用される周辺ピクセルを決定することができる。前述のように、各イントラ予測モードによる方向は、水平方向や垂直方向に近いほど、予測モード間の間隔が狭くなるように設定され、垂直方向や水平方向と遠くなるほど、予測モード間の間隔が広くなるように設定される。
【0163】
一方、前述の図１９に例示されているような多様な方向性を有するイントラ予測モードにより、現在ブロックの参照ピクセルに利用される周辺ピクセルの利用が制限される。例えば、インター予測を介して予測されたインターブロックに含まれた周辺ピクセルである場合、現在ブロックのイントラ予測時に利用が制限される。そのように、インターブロックに含まれた周辺ピクセルの利用を制限する理由は、インターブロックに含まれたエラーの伝播（error propagation）を防止するためである。また、イントラ予測される現在ブロックと異なるスライスに含まれる周辺ブロックは、現在ブロックのイントラ予測時に利用が制限される。他のスライスに含まれた周辺ブロックを、イントラ予測時に利用を制限する理由は、一般的に、映像処理において、スライス単位で映像データをカプセル化（encapsulation）して独立して処理するために、他のスライスに含まれた周辺ブロックのデータは、現在ブロックの参照データとして利用が制限される。従って、本発明の一実施形態によるイントラ予測部４１０，５５０は、周辺ピクセルが含まれた周辺ブロックの予測モードまたは周辺ブロックが含まれたスライスが、現在ブロックが属したスライスと同一であるか否かということにより、当該周辺ピクセルを現在ブロックのイントラ予測に利用するか否かということを制限することができる。映像符号化装置４００のイントラ予測部４１０は、インターブロックに含まれた周辺ピクセルを、現在ブロックのイントラ予測に利用するか否かということを示すフラグ（constrained＿intra＿ｐｒｅｄ＿flag）の値を設定した後、符号化されたビットストリームに、フラグ（constrained＿intra＿ｐｒｅｄ＿flag）情報を付加することにより、周辺インターブロックに含まれた周辺ピクセルの利用いかんの制限をシグナリングすることができる。例えば、constrained＿intra＿ｐｒｅｄ＿flagの値が０である場合には、周辺ピクセルが含まれた周辺ブロックの予測モードにかかわりなく、現在ブロックのイントラ予測に利用されるということを示すことができる。constrained＿intra＿ｐｒｅｄ＿flagの値が１である場合には、インターブロックに含まれた周辺ピクセルに含まれた周辺ピクセルは、現在ブロックのイントラ予測時、利用が制限されるということを示すことができる。また、イントラ予測部４１０，５５０は、現在ブロックと異なるスライスに含まれた周辺ブロックのピクセルは、常に現在ブロックのイントラ予測に利用されるものではないと制限することができる。
【0164】
以下、図２０ないし図２６を参照し、constrained＿intra＿ｐｒｅｄ＿flagの値が１である場合、すなわち、インターブロックに含まれた周辺ピクセルは、現在ブロックのイントラ予測時、参照ピクセルとして利用が制限される場合を仮定し、イントラ予測部４１０，５５０で、参照ピクセルとして利用が制限された周辺ピクセルを、他の周辺ピクセルに代替する過程について具体的に説明する。また、現在ブロックが属したスライスと異なるスライスに含まれた周辺ブロックのピクセルは、常に現在ブロックのイントラ予測時に利用が制限されるものであると仮定する。
【0165】
【0166】
図２４を参照すれば、イントラ予測装置２４００は、利用可能性（availability）判断部２４１０、代替部２４２０及びイントラ予測遂行部２４３０を含む。利用可能性判断部２４１０は、現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する。ここで、利用可能性とは、周辺ピクセルが、現在ブロックの参照ピクセルとしてイントラ予測に利用されるか否かということを示す。前述のように、constrained＿intra＿ｐｒｅｄ＿flagの値が１である場合を仮定するので、インター予測された周辺ブロック、または現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルは、利用不可能であると判断される。従って、利用可能性判断部２４１０は、現在ブロックと隣接した所定個数の周辺ピクセルのうちインター予測された周辺ブロック、または現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルが存在するか否かということを判断する。周辺ピクセルの個数は、多様な基準によって設定される。例えば、現在ブロックの大きさが、ｎＴｘｎＴ（ｎＴは、整数）である場合、現在ブロックの上側及び右上側に位置した２ｎＴ個の上側周辺ピクセル、現在ブロックの左側及び左下側に位置した２ｎＴ個の左側周辺ピクセル、及び現在ブロックの左上側コーナーに位置した１個の周辺ピクセルを含む総４ｎＴ＋１個の周辺ピクセルについて、利用可能性いかんが判断される。利用可能性が判断される周辺ピクセルの個数及び位置は、それらに限定されるものではなく、変更される。
【0167】
もし周辺ピクセルがいずれも利用可能であると判断された場合、符号化側のイントラ予測遂行部２４３０は、周辺ピクセルをそのまま参照ピクセルとして利用して、図１９に例示されているような多様な方向性を有するイントラ予測モードによってイントラ予測を行い、現在ブロックの予測ブロックを生成する。復号化側のイントラ予測遂行部２４３０は、ビットストリームから抽出された現在ブロックのイントラ予測モードに基づいて、周辺ピクセルをそのまま利用して、現在ブロックに対するイントラ予測を行い、現在ブロックの予測ブロックを生成する。
【0168】
もし周辺ピクセルが、いずれも利用不可能であると判断された場合、代替部２４２０は、利用不可能な周辺ピクセルのピクセル値を所定値に代替することができる。ここで、所定値は、ピクセルのビット深度に基づいて決定された値が利用される。ピクセルのビット深度は、１つのピクセルのピクセル値を表現するのに利用されるビット数であり、ビット深度は、８～１４ビットでもある。そのように、可変的なビット深度（BitDepth）は、基本ビット深度（BaseBitDepth）及び可変的なビット深度増加量（increased＿bit＿depth）を介して、下記数式を介して表現される。
【0169】
BitDepth＝BaseBitDepth＋Increased＿bit＿depth
前述のように、ビット深度が８～１４ビット範囲を有するとすれば、基本ビット深度（BaseBitDepth）は、８の値を有し、ビット深度増加量（increased＿bit＿depth）は、０～６の値を有する。代替部２４２０は、周辺ピクセルがいずれも利用不可能である場合、周辺ピクセルをいずれも（１＜＜（－１））の値に代替することができる。例えば、ビット深度が８であるとするとき、代替部２４２０は、周辺ピクセルがいずれも利用不可能である場合、周辺ピクセルをいずれも（１＜＜（８－１））、すなわち、１ｘ２＾７である１２８のピクセル値を有するように代替することができる。
前述のように、ビット深度が８～１４ビット範囲を有するとすれば、基本ビット深度（BaseBitDepth）は、８の値を有し、ビット深度増加量（increased＿bit＿depth）は、０～６の値を有する。代替部２４２０は、周辺ピクセルがいずれも利用不可能である場合、周辺ピクセルをいずれも（１＜＜（－１））の値に代替することができる。例えば、ビット深度が８であるとするとき、代替部２４２０は、周辺ピクセルがいずれも利用不可能である場合、周辺ピクセルをいずれも（１＜＜（８－１））、すなわち、１ｘ２＾７である１２８のピクセル値を有するように代替することができる。
【0170】
利用可能性判断部２４１０で判断した結果、所定個数の周辺ピクセルがいずれも利用不可能である場合ではないが、少なくとも１つの利用不可能な周辺ピクセルが存在する場合、代替部２４２０は、利用不可能な周辺ピクセルを基準にして、既定方向に所定個数の周辺ピクセルを検索し、利用可能な周辺ピクセルを検索し、利用不可能な周辺ピクセルのピクセル値を、検索された利用可能な周辺ピクセルのピクセル値に代替する。利用不可能な周辺ピクセルを代替する過程については、図２０ないし図２３を参照して後述する。
【0171】
イントラ予測遂行部２４３０は、利用不可能な周辺ピクセルが、利用可能な周辺ピクセルで代替されれば、代替された周辺ピクセル、及び利用可能な原周辺ピクセルを利用して、現在ブロックに対するイントラ予測を行い、現在ブロックの予測ブロックを生成する。
【0172】
【0173】
図２０は、本発明の一実施形態により、周辺ブロックの類型によって、現在ブロックのイントラ予測時、利用不可能な周辺ピクセルを示した図面である。図２０を参照すれば、現在ブロック２０００の大きさをｎＴｘｎＴとするとき、利用可能性判断部２４１０は、現在ブロックの上側及び右上側に位置した２ｎＴ個の上側周辺ピクセルが含まれた周辺ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅが、インターブロックであるか、あるいは現在ブロック２０００が属したスライスと異なるスライスに含まれたブロックであるかということを判断する。また、利用可能性判断部２４１０は、現在ブロック２０００の左側及び左下側に位置した２ｎＴ個の左側周辺ピクセルが含まれた周辺ブロックＧ，Ｈ，Ｉ，Ｊ，Ｋ、及び現在ブロック２０００の左上側コーナーに位置した１個の周辺ピクセルを含む周辺ブロックＦが、インターブロックであるか、あるいは現在ブロック２０００が属したスライスと異なるスライスに含まれたブロックであるかということを判断する。
【0174】
利用可能性判断部２４１０は、周辺ブロックＡないしＫのうち、インターブロックであるか、あるいは現在ブロック２０００が属したスライスと異なるスライスに含まれたブロックに含まれた周辺ピクセルを、利用不可能な周辺ピクセルと判断する。図２０で、周辺ブロックＡ，Ｂ，Ｄ，Ｅ，Ｆ，Ｈ，Ｉが、インター予測されたインターブロックであるので、利用可能性判断部２４１０は、インター予測された周辺ブロックＡ，Ｂ，Ｄ，Ｅ，Ｆ，Ｈ，Ｉに含まれた周辺ピクセル２０１１，２０１２，２０１３を利用不可能な周辺ピクセルと判断する。前述のように、代替部２４２０は、利用不可能な周辺ピクセルを基準にして、既定方向に周辺ピクセルを検索し、利用不可能な周辺ピクセルのピクセル値を、利用可能な周辺ピクセルに代替する過程を遂行する。
【0175】
具体的には、本発明の実施形態による利用可能性判断部２４１０は、周辺ピクセルのうち、既定位置の周辺ピクセル（以下、「第１周辺ピクセル」とする）の利用可能性いかんをまず判断する。代替部２４２０は、第１周辺ピクセルが利用不可能である場合、既定方向に周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する。また、代替部２４２０は、検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルを代替する。
【0176】
第１周辺ピクセルを除いた残りの利用不可能な周辺ピクセル（以下、「第３周辺ピクセル」とする）は、既定方向に基づいて、以前に処理されて代替されたり、あるいは本来利用可能な周辺ピクセルを利用して代替される。利用不可能な第３周辺ピクセルは、第２周辺ピクセルの検索に利用された検索順序によって順次に代替される。第１周辺ピクセルが利用可能である場合、第１周辺ピクセルの代替過程は、スキップされ、第３周辺ピクセルの代替過程のみ遂行される。
【0177】
下記の図２１ないし図２３において、現在ブロック２１００，２２００，２３００の大きさは、ｎＴｘｎＴであり、現在ブロック２１００，２２００，２３００のイントラ予測のために、利用可能性いかんが判断される周辺ピクセルは、Ｐ（ｘ，ｙ）（ｘ＝－１、ｙ＝－１，…，２ｎＴ－１；ｘ＝０，…，２ｎＴ－１、ｙ＝１）と仮定する。
【0178】
図２１は、本発明の一実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。図２１を参照すれば、周辺ピクセルのうち、最初に利用可能性いかんが判断される第１周辺ピクセルが、現在ブロック２１００の左上側コーナーに位置した周辺ピクセルＰ（－１，－１）２１１０であると仮定する。利用可能性判断部２４１０は、周辺ピクセルＰ（－１，－１）２１１０の利用可能性いかんをまず判断する。代替部２４２０は、周辺ピクセルＰ（－１，－１）２１１０が利用不可能であると判断された場合、周辺ピクセルＰ（－１，－１）２１１０を基準にして、既定方向に沿って、順次に周辺ピクセルのうち利用可能な周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセル（以下、「第２周辺ピクセル」とする）を利用して、第１周辺ピクセルを代替する。例えば、代替部２４２０は、周辺ピクセルＰ（－１，－１）２１１０を基準にして、左側から、右側方向の第１検索方向に沿って、現在ブロック２１００の上側及び右上側の周辺ピクセルを検索し、現在ブロック２１００の上側及び右上側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合、第１周辺ピクセルＰ（－１，－１）２１１０を基準にして、上側から下側の方向に、現在ブロック２１００の左側及び左下側の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する。代替部２４２０は、かような検索方向及び順序によって、最初に検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルであるＰ（－１，－１）２１１０を代替する。例えば、上側及び右上側の周辺ピクセルのうち、Ｐ（ｎＴ－２，－１）２１２０が最初に検索された利用可能な第２周辺ピクセルであると仮定すれば、代替部２４２０は、第１周辺ピクセルＰ（－１，－１）２１１０のピクセル値を、Ｐ（ｎＴ－２，－１）２１２０のピクセル値に代替する。
【0179】
代替部２４２０は、第１周辺ピクセルＰ（－１，－１）２１１０を除いた残りの利用不可能な第３周辺ピクセルを、既定の検索方向に基づいて、以前に処理されて代替された周辺ピクセル、または本来利用可能な周辺ピクセルに代替する。例えば、代替部２４２０は、第１周辺ピクセルＰ（－１，－１）２１１０を、利用可能な周辺ピクセルＰ（ｎＴ－２，－１）２１２０で代替した後、利用不可能な次の周辺ピクセルＰ（０，－１）の値を、第１周辺ピクセルＰ（－１，－１）２１１０に代替する。第１周辺ピクセルＰ（－１，－１）２１１０は、利用可能な周辺ピクセルＰ（ｎＴ－２，－１）２１２０に代替されたために、周辺ピクセルＰ（０，－１）の値も、周辺ピクセルＰ（ｎＴ－２，－１）２１２０の値と同一の値を有することになる。もし第１周辺ピクセルＰ（－１，－１）２１１０が、本来利用可能である場合には、第１周辺ピクセルＰ（－１，－１）２１１０の代替過程は、スキップされるので、代替部２４２０は、本来の第１周辺ピクセルＰ（－１，－１）２１１０のピクセル値を利用して、周辺ピクセルＰ（０，－１）の値を代替する。周辺ピクセルＰ（１，－１）の値は、以前に処理された周辺ピクセルＰ（０，－１）の値を利用して代替される。
【0180】
かような代替過程は、利用不可能な全ての第３周辺ピクセルに対して反復される。図２１で、上側に位置した周辺ピクセルのうち、利用可能な周辺ピクセルであるＰ（ｎＴ－２，－１）２１２０は、代替されずに、本来のピクセル値が維持される。そのように、代替部２４２０は、上側の利用不可能な周辺ピクセルを、既定の検索方向に沿って、以前に代替されたり、あるいは本来利用可能な周辺ピクセルに代替する。すなわち、代替部２４２０は、第１周辺ピクセルＰ（－１，－１）２１１０、及び本来利用可能な周辺ピクセルを除き、検索方向が左側から右側であるとするとき、利用不可能な第３周辺ピクセルを、すぐ左側の周辺ピクセルの値に代替する。そのように、上側に複数個の第３周辺ピクセルが存在する場合、代替部２４２０は、左側から右側の方向に、複数個の第３周辺ピクセルそれぞれを、左側の周辺ピクセルを利用して順次に代替する。そのとき、第３周辺ピクセルを代替するのに利用される左側の周辺ピクセルは、以前に代替されたり、あるいは本来利用可能な周辺ピクセルでもある。同様に、代替部２４２０は、現在ブロック２１００の左側及び左下側に位置した周辺ピクセルのうち、利用不可能な第３周辺ピクセルを、すぐ上側の周辺ピクセルの値を利用して代替する。例えば、代替部２４２０は、利用不可能な周辺ピクセルＰ（－１，０）の値を、第１周辺ピクセルＰ（－１，－１）２１１０に代替する。前述のように、もし第１周辺ピクセルＰ（－１，－１）２１１０が、本来利用可能である場合には、第１周辺ピクセルＰ（－１，－１）２１１０の代替過程は、スキップされるので、代替部２４２０は、本来の第１周辺ピクセルＰ（－１，－１）２１１０のピクセル値を利用して、周辺ピクセルＰ（－１，０）の値を代替する。周辺ピクセルＰ（－１，１）の値は、以前に処理された周辺ピクセルＰ（－１，０）の値を利用して代替される。前述の上側の第３周辺ピクセルを代替する過程と同様に、左側に、複数個の第３周辺ピクセルが存在する場合、代替部２４２０は、上側から下側の方向に複数個の第３周辺ピクセルそれぞれを、上側の周辺ピクセルを利用して順次に代替する。そのとき、第３周辺ピクセルを代替するのに利用される上側の周辺ピクセルは、以前に代替されたり、あるいは本来利用可能な周辺ピクセルでもある。
【0181】
かような代替過程は、利用不可能な左側及び左下側の全ての第３周辺ピクセルに対して反復される。左側に位置した周辺ピクセルのうち、利用可能な周辺ピクセルであるＰ（－１，ｎＴ＋１）２１３０は、代替されずに、本来のピクセル値が維持される。そのように、代替部２４２０は、左側の利用不可能な周辺ピクセルを、既定の検索方向に沿って、以前に代替されたり、あるいは本来利用可能な周辺ピクセルに代替する。すなわち、検索方向が上側から下側であるとするとき、代替部２４２０は、利用不可能な第３周辺ピクセルを、すぐ上側の周辺ピクセルの値に代替する。一方、代替部２４２０は、現在ブロック２１００の上側及び左側で利用可能な周辺ピクセルがいずれも検索された場合、検索された上側及び左側で利用可能な周辺ピクセルの平均値を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。例えば、図２１で、上側周辺ピクセルのうち、最初に検索された利用可能な周辺ピクセルＰ（ｎＴ－２，－１）２１２０、及び左側周辺ピクセルのうち、最初に検索された利用可能な周辺ピクセルＰ（－１，ｎＴ＋１）２１３０の平均値を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。すなわち、周辺ピクセルＰ（ｎＴ－２，－１）２１２０のピクセル値をＰＲＡ、周辺ピクセルＰ（－１，ｎＴ＋１）２１３０のピクセル値をＰＬＢとすれば、次の数式を介して獲得された平均値ＰＴを、第１周辺ピクセルＰ（－１，－１）２１１０のピクセル値に代替することができる。
【0182】
ＰＴ＝（ＰＲＡ＋ＰＬＢ＋１）＞＞１
また、代替部２４２０は、現在ブロック２１００の上側及び左側で利用可能な周辺ピクセルがいずれも検索された場合、既定の検索方向に沿って、最初に検索された周辺ピクセルのみを利用するのではなく、第１周辺ピクセルＰ（－１，－１）２１１０との距離に基づいて、第１周辺ピクセルＰ（－１，－１）２１１０にさらに近い利用可能な周辺ピクセルを、第２周辺ピクセルと決定し、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。図２１で、第１周辺ピクセルＰ（－１，－１）２１１０と、上側の利用可能な最初検索された周辺ピクセルＰ（ｎＴ－２，－１）２１２０との距離は、（ｎＴ－２）－（－１）、すなわち、ｎＴ－１であり、第１周辺ピクセルＰ（－１，－１）２１１０と、左側の利用可能な最初検索された周辺ピクセルＰ（－１，ｎＴ＋１）２１２０との距離は、（ｎＴ＋１）－（－１）、すなわち、ｎＴ＋２であるので、代替部２４２０は、さらに近い上側の周辺ピクセルＰ（ｎＴ－２，－１）２１２０を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。
また、代替部２４２０は、現在ブロック２１００の上側及び左側で利用可能な周辺ピクセルがいずれも検索された場合、既定の検索方向に沿って、最初に検索された周辺ピクセルのみを利用するのではなく、第１周辺ピクセルＰ（－１，－１）２１１０との距離に基づいて、第１周辺ピクセルＰ（－１，－１）２１１０にさらに近い利用可能な周辺ピクセルを、第２周辺ピクセルと決定し、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。図２１で、第１周辺ピクセルＰ（－１，－１）２１１０と、上側の利用可能な最初検索された周辺ピクセルＰ（ｎＴ－２，－１）２１２０との距離は、（ｎＴ－２）－（－１）、すなわち、ｎＴ－１であり、第１周辺ピクセルＰ（－１，－１）２１１０と、左側の利用可能な最初検索された周辺ピクセルＰ（－１，ｎＴ＋１）２１２０との距離は、（ｎＴ＋１）－（－１）、すなわち、ｎＴ＋２であるので、代替部２４２０は、さらに近い上側の周辺ピクセルＰ（ｎＴ－２，－１）２１２０を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。
【0183】
一方、代替部２４２０は、現在ブロック２１００の第１周辺ピクセルＰ（－１，－１）２１１０を代替するための第２周辺ピクセルを検索する過程の複雑度を低減させるために、現在ブロックの上側及び左側の全てのピクセルを検索する代わりに、第１周辺ピクセルＰ（－１，－１）２１１０とすぐ隣接したＰ（－１，０）及びＰ（０，－１）のみを検索し、Ｐ（－１，０）及びＰ（０，－１）のうち利用可能な隣接周辺ピクセルを利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。例えば、代替部２４２０は、Ｐ（－１，０）及びＰ（０，－１）の順序で、またはＰ（０，－１）及びＰ（－１，０）の順序で、隣接周辺ピクセルを検索し、まず検索された利用可能な隣接周辺ピクセルの値で、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。もし代替部２４２０は、Ｐ（－１，０）及びＰ（０，－１）のうち利用可能な周辺ピクセルが検索されない場合、前述のように、ビット深度に基づく所定の値で、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。代替部２４２０は、Ｐ（－１，０）及びＰ（０，－１）がいずれも利用可能である場合、Ｐ（－１，０）及びＰ（０，－１）の平均値を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。
【0184】
一方、前述の代替部２４２０で行われる上側周辺ピクセル及び左側周辺ピクセル検索の順序及び方向は、変更される。すなわち、代替部２４２０は、まず現在ブロック２１００の左側及び左下側の周辺ピクセルを検索し、利用可能な周辺ピクセルが存在しない場合、次に上側及び右上側の周辺ピクセルを検索することができる。また、代替部２４２０は、左側及び左下側の周辺ピクセルを検索するとき、上側から下側の方向に利用可能な周辺ピクセルを検索する代わりに、下側から上側の方向に、利用可能な周辺ピクセルを検索することができる。また、代替部２４２０は、上側及び右上側の周辺ピクセルを検索するとき、左側から右側の方向に利用可能な周辺ピクセルを検索する代わりに、右側から左側の方向に、利用可能な周辺ピクセルを検索することができる。
【0185】
また、代替部２４２０は、第１周辺ピクセルＰ（－１，－１）２１１０を代替するために、最初に検索された上側または左側の利用可能な周辺ピクセルのうち、最初に検索された周辺ピクセルを利用する代わりに、現在ブロック２１００の上側及び右上側、左側及び左上側の周辺ピクセルのうち、利用可能な全ての周辺ピクセルのピクセル値の平均値を利用して、第１周辺ピクセルＰ（－１，－１）２１１０を代替することができる。
【0186】
図２２は、本発明の他の実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。図２２を参照すれば、本発明の他の実施形態において、周辺ピクセルのうち最初に利用可能性いかんが判断される第１周辺ピクセルが、現在ブロック２２００の最左下側に位置した周辺ピクセルＰ（－１，２ｎＴ－１）２２１０であると仮定する。すなわち、利用可能性判断部２４１０は、周辺ピクセルＰ（－１，２ｎＴ－１）２２１０の利用可能性いかんをまず判断する。代替部２４２０は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０が利用不可能であると判断された場合、Ｐ（－１，２ｎＴ－１）２２１０を基準にして、既定方向に沿って、順次に周辺ピクセルのうち、利用可能な周辺ピクセルを検索し、最初に検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を代替する。例えば、代替部２４２０は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を基準にして、下側から上側の方向の第１検索方向に沿って、現在ブロック２２００の左側及び左下側の周辺ピクセルを検索し、現在ブロック２２００の左側及び左下側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合、左側から右側の方向の第２検索方向に沿って、現在ブロック２２００の上側及び右上側の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する。代替部２４２０は、かような検索方向及び順序によって、最初に検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を代替する。例えば、検索順序によって、左側の周辺ピクセルのうち、Ｐ（－１，ｎＴ－２）２２２０が利用可能な最初に検索された第２周辺ピクセルであるとすれば、代替部２４２０は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０のピクセル値を、Ｐ（－１，ｎＴ－２）２２２０のピクセル値に代替する。
【0187】
前述の本発明の一実施形態と同様に、代替部２４２０は、Ｐ（－１，２ｎＴ－１）２２１０を除いた残りの利用不可能な第３周辺ピクセルを、既定の検索方向に基づいて、以前に処理されて代替されたり、あるいは本来利用可能な周辺ピクセルに代替する。例えば、代替部２４２０は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を、利用可能な周辺ピクセルＰ（－１，ｎＴ－２）２２２０で代替した後、利用不可能な次の周辺ピクセルＰ（－１，２ｎＴ－２）の値は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０に代替する。もし第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０が、本来利用可能である場合には、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０の代替過程は、スキップされるので、代替部２４２０は、本来の第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０のピクセル値を利用して、周辺ピクセルＰ（－１，２ｎＴ－２）の値を代替する。
【0188】
かような代替過程は、利用不可能な全ての第３周辺ピクセルに対して反復される。図２２で、左側及び上側に位置した周辺ピクセルのうち、利用可能な周辺ピクセルであるＰ（－１，ｎＴ－２）２２２０及びＰ（ｎＴ＋１，－１）（２２３０）は、代替されずに、本来のピクセル値が維持される。そのように、代替部２４２０は、最左下側の第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を基準にして、下側から上側の方向、左側から右側の方向に、現在ブロック２２００の左側及び上側の周辺ピクセルを検索し、利用不可能な第３周辺ピクセルを、すぐ下側の周辺ピクセルまたは左側の周辺ピクセルに代替する。すなわち、代替部２４２０は、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０、及び本来利用可能な周辺ピクセルを除き、左側及び左下側に位置した利用不可能な第３周辺ピクセルを、すぐ下の周辺ピクセルに代替して、上側及び右上側に位置した利用不可能な第３周辺ピクセルを、すぐ左側の周辺ピクセルに代替する。そのように、左側に位置した複数個の第３周辺ピクセルに対して、代替部２４２０は、下側から上側の方向に、複数個の第３周辺ピクセルそれぞれを、下側の周辺ピクセルを利用して順次に代替し、上側に位置した複数個の第３周辺ピクセルに対して代替部２４２０は、左側から右側の方向に、複数個の第３周辺ピクセルそれぞれを、左側の周辺ピクセルを利用して代替する。前述のように、代替に利用される下側または左側の周辺ピクセルは、以前に代替されたり、あるいは本来利用可能な周辺ピクセルでもある。
【0189】
前述のように、代替部２４２０で行われる上側周辺ピクセル及び左側周辺ピクセル検索の順序及び方向は、変更されてもよい。すなわち、代替部２４２０は、まず現在ブロック２２００の上側及び右上側の周辺ピクセルを、右側から左側の方向に検索し、利用可能な周辺ピクセルが存在しない場合、左側及び左下側の周辺ピクセルを、上側から下側の方向に検索することにより、第１周辺ピクセルＰ（－１，２ｎＴ－１）２２１０を代替するための第２周辺ピクセルを検索することができる。
【0190】
図２３は、本発明のさらに他の実施形態による、利用不可能な周辺ピクセルを代替する過程について説明するための図面である。図２３を参照すれば、本発明のさらに他の実施形態において、周辺ピクセルのうち、最初に利用可能性いかんが判断される第１周辺ピクセルが、現在ブロック２３００の最右上側に位置した周辺ピクセルＰ（２ｎＴ－１，－１）２３１０であると仮定する。すなわち、利用可能性判断部２４１０は、周辺ピクセルＰ（２ｎＴ－１，－１）２３１０の利用可能性いかんをまず判断する。代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０が利用不可能であると判断された場合、Ｐ（２ｎＴ－１，－１）２３１０を基準にして、既定方向に沿って、順次に周辺ピクセルのうち、利用可能な周辺ピクセルを検索し、最初に検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を代替する。例えば、代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を基準にして、右側から左側の方向の第１検索方向に沿って、現在ブロック２３００の上側及び右上側の周辺ピクセルを検索し、現在ブロック２３００の上側及び右上側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合、上側から下側の方向に、現在ブロック２３００の左側及び左下側の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する。代替部２４２０は、かような検索方向及び順序によって、最初に検索された利用可能な第２周辺ピクセルを利用して、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を代替する。例えば、検索順序によって、上側の周辺ピクセルのうち、Ｐ（ｎＴ＋１，－１）（２３２０）が利用可能な最初に検索された第２周辺ピクセルであるとすれば、代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０のピクセル値を、Ｐ（ｎＴ＋１，－１）（２３２０）のピクセル値に代替する。
【0191】
また、代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を除いた残りの利用不可能な第３周辺ピクセルを、既定の検索方向に基づいて、以前に処理されて代替されたり、あるいは本来利用可能な周辺ピクセルに代替する。例えば、代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を、利用可能な周辺ピクセルＰ（ｎＴ＋１，－１）（２３２０）で代替した後、利用不可能な次の周辺ピクセルＰ（２ｎＴ－２，－１）の値は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０に代替する。
【0192】
もし第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０が、本来利用可能である場合には、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０の代替過程は、スキップされるので、代替部２４２０は、本来の第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０のピクセル値を利用して、周辺ピクセルＰ（２ｎＴ－２，－１）の値を代替する。
【0193】
かような代替過程は、利用不可能な全ての第３周辺ピクセルに対して反復される。図２３で、左側及び上側に位置した周辺ピクセルのうち、利用可能な周辺ピクセルであるＰ（ｎＴ＋１，－１）２３２０及びＰ（－１，ｎＴ－１）２３３０は、代替されずに、本来のピクセル値が維持される。そのように、代替部２４２０は、最右上側の第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を基準にして、右側から左側の方向、上側から下側の方向に、現在ブロック２３００の上側及び左側の周辺ピクセルを検索し、利用不可能な第３周辺ピクセルを、すぐ右側の周辺ピクセルまたは上側の周辺ピクセルで順次に代替する。すなわち、代替部２４２０は、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０、及び本来利用可能な周辺ピクセルを除き、上側及び右上側に位置した利用不可能な第３周辺ピクセルを、すぐ左側の周辺ピクセルに代替し、左側及び左下側に位置した利用不可能な第３周辺ピクセルを、すぐ上側の周辺ピクセルで順次に代替する。
【0194】
前述のように、代替部２４２０で行われる上側周辺ピクセル及び左側周辺ピクセル検索の順序及び方向は、変更される。すなわち、代替部２４２０は、まず現在ブロック２３００の左側及び左下側の周辺ピクセルを、下側から上側の方向に検索し、利用可能な周辺ピクセルが存在しない場合、上側及び右上側の周辺ピクセルを、左側から右側の方向に検索することにより、第１周辺ピクセルＰ（２ｎＴ－１，－１）２３１０を代替するための第２周辺ピクセルを検索することができる。
【0195】
一方、周辺ピクセルのうち、利用不可能な周辺ピクセルを代替する過程が完了すれば、次に、周辺ピクセルに対するフィルタリング過程が遂行される。フィルタリングされた周辺ピクセルを利用するか否かということは、現在ブロックの大きさに基づいて決定される。例えば、フィルタリングされた周辺ピクセルは、現在ブロックの大きさが、１６ｘ１６以上である場合にのみ利用される。
【0196】
図２５Ａは、現在ブロック周辺のフィルタリングされる周辺ピクセルを示した図面である。図２５Ａを参照すれば、現在ブロック２５００の上側のＸ個の周辺ピクセル２５１０、及び左側のＹ個の周辺ピクセル２５２０に対して、少なくとも１回以上のフィルタリングが行われ、フィルタリングされた周辺ピクセルが、現在ブロック２５００のイントラ予測に利用される。ここで、現在ブロック２５００の大きさを、ｎＴｘｎＴとすれば、Ｘ＝２ｎＴ、Ｙ＝２ｎＴであることが望ましい。
【0197】
ｎＴｘｎＴサイズの現在ブロック２５００の上側と左側とに隣接したＸ＋Ｙ個の原周辺ピクセルが、ContextＯｒｇ［ｎ］（ｎは、０からＸ＋Ｙ－１までの整数）であり、左側の周辺ピクセルのうち、最下端の周辺ピクセルがｎ＝０である場合、すなわち、ContextＯｒｇ［０］であり、上側の周辺ピクセルのうち、最右側の周辺ピクセルがｎ＝Ｘ＋Ｙ－１、すなわち、ContextＯｒｇ［Ｘ＋Ｙ－１］であると仮定する。
【0198】
図２５Ｂは、現在ブロックの周辺ピクセルのフィルタリング過程について説明するための参照図である。図２５Ｂを参照すれば、現在ブロックの上側と左側とに隣接した周辺ピクセルが、ContextＯｒｇ［ｎ］（ｎは、０から４ｎＴ－１までの整数）であるとすれば、周辺ピクセル間の加重平均値を介して、周辺ピクセルがフィルタリングされる。１回フィルタリングされた周辺ピクセルを、ContextFiltered１［ｎ］とすれば、次の数式のように、周辺ピクセル（ContextＯｒｇ［ｎ］）に、３タップフィルタを適用してフィルタリングされた周辺ピクセルが獲得される。
【0199】
ContextFiltered１［ｎ］＝（ContextＯｒｇ［ｎ－１］＋２＊ContextＯｒｇ［ｎ］＋ContextＯｒｇ［ｎ＋１］）／４
同様に、１回フィルタリングされた周辺ピクセル（ContextFiltered１［ｎ］）間の加重平均値をさらに計算し、２回フィルタリングされた周辺ピクセル（ContextFiltered２［ｎ］）が生成されもする。例えば、次の数式のようにフィルタリングされた周辺ピクセル（ContextFiltered１［ｎ］）に、３タップフィルタを適用し、２回フィルタリングされた周辺ピクセルが生成されもする。
同様に、１回フィルタリングされた周辺ピクセル（ContextFiltered１［ｎ］）間の加重平均値をさらに計算し、２回フィルタリングされた周辺ピクセル（ContextFiltered２［ｎ］）が生成されもする。例えば、次の数式のようにフィルタリングされた周辺ピクセル（ContextFiltered１［ｎ］）に、３タップフィルタを適用し、２回フィルタリングされた周辺ピクセルが生成されもする。
【0200】
ContextFiltered２［ｎ］＝（ContextFiltered１［ｎ－１］＋２＊ContextFiltered１［ｎ］＋ContextFiltered１［ｎ＋１］）／４
フィルタリングに利用されるフィルタ及びフィルタリング回数は、変更されてもよい。
フィルタリングに利用されるフィルタ及びフィルタリング回数は、変更されてもよい。
【0201】
図２６は、本発明の一実施形態によるビデオのイントラ予測方法を示したフローチャートである。段階２６１０で、利用可能性判断部２４１０は、ビデオを構成するピクチャを階層的構造に分割したブロックのうち、現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する。前述のように、利用可能性判断部２４１０は、現在ブロックの所定個数の周辺ピクセルのうち、インター予測された周辺ブロック、または現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルが存在する場合、当該周辺ピクセルを利用不可能な周辺ピクセルと判断する。
【0202】
段階２６２０で、代替部２４２０は、所定個数の周辺ピクセルのうち、利用不可能な第１周辺ピクセルが存在する場合、第１周辺ピクセルを基準にして、既定方向に、所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する。段階２６３０で、代替部２４２０は、第１周辺ピクセルのピクセル値を、検索された第２周辺ピクセルのピクセル値に代替する。もし所定位置の第１周辺ピクセルが利用可能である場合であるならば、本来の第１周辺ピクセルが、現在ブロックのイントラ予測のための参照ピクセルに利用され、代替過程は、スキップされる。そのように、第１周辺ピクセルが利用可能ではなく、第２周辺ピクセルで代替されたり、あるいは本来の第１周辺ピクセルが利用可能なように、代替過程がスキップされた場合、周辺ピクセルのうち、利用不可能な第３周辺ピクセルに対する代替過程が遂行される。
【0203】
前述のように、本発明の一実施形態による代替部２４２０は、現在ブロックの最左上側コーナーに位置した第１周辺ピクセルの利用可能性いかんを判断し、第１周辺ピクセルが利用不可能である場合、上側及び右上側の周辺ピクセルを、第１周辺ピクセルを基準にして、左側から右側の方向に検索し、利用可能な第２周辺ピクセルを検索し、上側及び右上側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合には、左側及び左下側の周辺ピクセルを、第１周辺ピクセルを基準にして、上側から下側の方向に検索し、利用可能な第２周辺ピクセルを検索する。本発明の一実施形態による代替部２４２０は、かような検索方向及び順序によって、最初に検索された利用可能な周辺ピクセルを、第２周辺ピクセルとして決定する。また、代替部２４２０は、第１周辺ピクセルのピクセル値を、第２周辺ピクセルのピクセル値に代替する。また、代替部２４２０は、第１周辺ピクセル及び本来利用可能な周辺ピクセルを除き、左側及び左下側に位置した利用不可能な第３周辺ピクセルを、すぐ上側の周辺ピクセルに代替し、上側及び右上側に位置した利用不可能な第３周辺ピクセルを、すぐ左側の周辺ピクセルに代替する。すなわち、代替部２４２０は、所定位置の第１周辺ピクセルを除き、他の位置の利用不可能な第３周辺ピクセルについては、所定方向にすぐ隣接した周辺ピクセルを利用した代替過程を遂行する。
【0204】
本発明の他の実施形態による代替部２４２０は、現在ブロックの最左下側に位置した第１周辺ピクセルの利用可能性いかんを判断し、第１周辺ピクセルが利用不可能である場合、第１周辺ピクセルを基準にして、左側及び左下側の周辺ピクセルを、下側から上側の方向に検索し、最初に検索された利用可能な周辺ピクセルを、第２周辺ピクセルとして決定する。左側及び左下側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合、代替部２４２０は、左側から右側の方向に、上側及び右上側の周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセルを、第２周辺ピクセルとして決定する。また、代替部２４２０は、第１周辺ピクセルのピクセル値を、第２周辺ピクセルのピクセル値に代替する。また、代替部２４２０は、第１周辺ピクセル及び本来利用可能な周辺ピクセルを除き、左側及び左下側に位置した利用不可能な第３周辺ピクセルを、すぐ下の周辺ピクセルで順次に代替し、上側及び右上側に位置した利用不可能な第３周辺ピクセルを、すぐ左側の周辺ピクセルで順次に代替する。すなわち、代替部２４２０は、所定位置の第１周辺ピクセルを除き、他の位置の利用不可能な第３周辺ピクセルについては、所定方向にすぐ隣接した周辺ピクセルを利用した代替過程を遂行する。
【0205】
本発明のさらに他の実施形態による代替部２４２０は、現在ブロックの最右上側に位置した第１周辺ピクセルの利用可能性いかんを判断し、第１周辺ピクセルが利用不可能である場合、第１周辺ピクセルを基準にして、右側から左側の方向に、上側及び右上側の周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセルを、第２周辺ピクセルとして決定する。上側及び右上側の周辺ピクセルのうち、利用可能な第２周辺ピクセルが存在しない場合、代替部２４２０は、左側及び左下側の周辺ピクセルを、上側から下側の方向に検索し、最初に検索された利用可能な周辺ピクセルを、第２周辺ピクセルとして決定する。また、代替部２４２０は、第１周辺ピクセルのピクセル値を、第２周辺ピクセルのピクセル値に代替する。また、代替部２４２０は、第１周辺ピクセル及び本来利用可能な周辺ピクセルを除き、上側及び右上側に位置した利用不可能な第３周辺ピクセルを、すぐ右側の周辺ピクセルに代替し、左側及び左下側に位置した利用不可能な第３周辺ピクセルを、すぐ上側の周辺ピクセルに代替する。すなわち、代替部２４２０は、所定位置の第１周辺ピクセルを除き、他の位置の利用不可能な第３周辺ピクセルについては、所定方向にすぐ隣接した周辺ピクセルを利用した代替過程を遂行する。段階２６４０で、イントラ予測遂行部２４３０は、利用可能性いかんによって代替された周辺ピクセル及び原周辺ピクセルを利用して、現在ブロックに対するイントラ予測を行う。
【0206】
前述の本発明によれば、利用不可能な周辺ピクセルを、既定の検索方向に基づいて、利用可能な周辺ピクセルを検索し、代替過程に利用することにより、イントラ予測に利用される参照ピクセルを決定する過程の複雑度を低減させることができる。
【0207】
図１ないし図２６を参照して説明したイントラ予測方法を具現するためのプログラムは、コンピュータで読み取り可能な記録媒体に保存することにより、独立したコンピュータシステムが、前記記録媒体に保存された実施形態による動作を容易に具現することができる。
【0208】
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について以下で説明する。
【0209】
図２７Ａは、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示している。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ（compact disc）－ＲＯＭ（read-only memory）ディスク、ブルーレイ（登録商標：Blu-ray）ディスク、ＤＶＤ（digital versatile disc）でもある。ディスク２６０００は、多数の同心円のトラックＴｒにより構成され、トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において、特定領域に、前述のイントラ予測方法を具現するためのプログラムが割り当てられて保存される。
【0210】
前述のイントラ予測方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２７Ｂを参照して説明するする。
【0211】
図２７Ｂは、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６３００を図示している。コンピュータシステム２６５００は、ディスクドライブ２６３００を利用して、本発明のイントラ予測方法を具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６５００上で実行するために、ディスクドライブ２６３００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６５００に伝送される。
【0212】
図２７Ａ及び図２７Ｂで例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のイントラ予測方法を具現するためのプログラムが保存される。
【0213】
前述の実施形態によるイントラ予測方法が適用されたシステムについて説明する。
【0214】
図２８は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設けられる。
【0215】
コンテンツ供給システム１１０００は、複数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、カメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス供給者１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
【0216】
しかし、コンテンツ供給システム１１０００は、図２８に図示された構造のみに限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されもする。
【0217】
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ－ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（（登録商標）global system for mobile communications）及びＰＨＳ（personal handyphone system）の各方式のような多様なプロトコルのうち、少なくとも１つの通信方式を採択することができる。
【0218】
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００で撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送されもする。
【0219】
カメラ１２６００で撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ－ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ（solid state drive）、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
【0220】
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
【0221】
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。
【0222】
一実施形態によるコンテンツ供給システム１１０００で、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画したコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、該コンテンツデータをストリーミング伝送することができる。
【0223】
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムで復号化して再生させ、個人放送（personal broadcasting）を可能にさせる。
【0224】
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のイントラ予測方法が適用される。
【0225】
【0226】
図２９は、一実施形態による本発明のイントラ予測方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマトホンでもある。
【0227】
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２５２０を含む。スマートホン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートホン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン１２５５０、または他の形態の音響入力部と、を含む。スマートホン１２５１０は、ビデオ映像及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートホン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ－mail）でもって受信されたり、あるいは他の形態に獲得されたビデオや静止映像のように、符号化されたり復号化されたデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。
【0228】
図３０は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０によって構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer／demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
【0229】
ユーザが電源ボタンを作動させ、「電源オフ」状態から「電源オン」状態に設定されれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
【0230】
中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random-access memory）を含む。
【0231】
携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
【0232】
例えば、携帯電話１２５００が通話モードであるとき、マイクロホン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て、送信信号に変換され、アンテナ１２５１０を介して送出される。
【0233】
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御により、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
【0234】
データ通信モードで、映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
【0235】
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述のビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロホン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達することができる。
【0236】
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
【0237】
携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）及びＡ／Ｄ変換（analog-digital conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
【0238】
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経てアナログ音響信号に変換され、アナログ音響信号が、スピーカ１２５８０を介して出力される。
【0239】
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
【0240】
アンテナ１２５１０を介して受信された多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
【0241】
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述のビデオ復号化装置２００、または映像復号化部５００のビデオ復号化方式を利用して、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、ＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に、復元されたビデオデータを提供することができる。
【0242】
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換して、アナログ音響信号を、スピーカ１２５８０に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
【0243】
携帯電話１２５００または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
【0244】
本発明の通信システムは、図２８を参照して説明した構造に限定されるものではない。例えば、図３１は、本発明による通信システムが適用されたデジタル放送システムを図示している。図３１の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星または地上波のネットワークを介して伝送されるデジタル放送を受信することができる。
【0245】
具体的には、放送局１２８９０は、電波を介してビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top box）１２８７０または他のデバイスによって復号化されて再生される。
【0246】
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それによって復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
【0247】
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
【0248】
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されもする。
【0249】
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。
【0250】
ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的には、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されたり、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存されもする。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。
【0251】
自動車ナビゲーションシステム１２９３０は、図３０のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図３０のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
【0252】
図３２は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。
【0253】
本発明のクラウドコンピューティング・システムは、クラウドコンピューティングサーバ１４０００、ユーザＤＢ（database）１４１００、コンピュータ資源１４２００及びユーザ端末機を含んでなる。
【0254】
クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンド・アウトソーシング・サービスを提供する。クラウドコンピューティング環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を、仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）のようなコンピュータ資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望の時点で所望するほど選んで使用することができる。
【0255】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４０００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４０００から、クラウドコンピューティング・サービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートホン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、タブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。
【0256】
クラウドコンピューティングサーバ１４０００は、クラウド網に分散されている多数のコンピュータ資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピュータ資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かようにクラウドコンピューティングサーバ１４０００は、多くのところに分散している動画データベースを、仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
【0257】
ユーザＤＢ １４１００には、クラウドコンピューティング・サービスに加入していいるユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報、住所、氏名のような個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや再生中の動画リストや再生中の動画の停止時点などを含んでもよい。
【0258】
ユーザＤＢ １４１００に保存された動画についての情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートホン１４５００から、同一の動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４０００は、ユーザＤＢ １４１００を参照し、所定動画サービスを見出して再生する。スマートホン１４５００が、クラウドコンピューティングサーバ１４０００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図３０を参照して説明した携帯電話１２５００の動作と同様である。
【0259】
クラウドコンピュータサーバ１４０００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのならば、クラウドコンピューティングサーバ１４０００は、ユーザ端末機への選択によって、最初から再生するか、あるいは以前の停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４０００は、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、ユーザ端末機が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピューティングサーバ１４０００は、ユーザ端末機に、当該動画を、停止時点のフレームからストリーミング伝送する。
【0260】
そのとき、ユーザ端末機は、前述の本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、前述の本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
【0261】
前述の本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２７Ａないし図３２で説明した。しかし、図１ないし図２６を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が、記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図２７Ａないし図３２の実施形態に限定されるものではない。
【0262】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【0263】
上記の実施形態につき以下の付記を残しておく。
（付記１）
ビデオのイントラ予測方法において、
前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する段階と、
前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する段階と、
前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する段階と、
前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含むことを特徴とするビデオのイントラ予測方法。
（付記２）
前記所定個数の周辺ピクセルの利用可能性を判断する段階は、
インター予測された周辺ブロック、または前記現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルを、利用不可能であると判断することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記３）
前記第１周辺ピクセルは、前記所定個数の周辺ピクセルのうち既定位置のピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセルを、前記第２周辺ピクセルとして決定することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記４）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記現在ブロックの上側及び右上側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記５）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記現在ブロックの左側及び左下側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記６）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、
前記検索された利用可能な左側周辺ピクセル及び上側周辺ピクセルの平均値を利用して、前記第１周辺ピクセルのピクセル値を代替することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記７）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、前記検索された左側周辺ピクセル及び上側周辺ピクセルのうち、前記第１周辺ピクセルとの距離がさらに近い周辺ピクセルを、前記第２周辺ピクセルとして決定することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記８）
前記第１周辺ピクセルは、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち最左下側に位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、下側から上側の方向に、前記現在ブロックの左側及び左下側に位置した周辺ピクセルを検索し、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの上側及び右上側の周辺ピクセルを、左側から右側の方向に検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記９）
前記第１周辺ピクセルは、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち最右上側に位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、右側から左側の方向に、前記現在ブロックの上側及び右上側に位置した周辺ピクセルを検索し、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの左側及び左下側の周辺ピクセルを、上側から下側の方向に検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記１０）
利用不可能な第３周辺ピクセルが存在する場合、前記既定方向に基づいて、以前に検索された隣接した周辺ピクセルのピクセル値を利用して、前記第３周辺ピクセルのピクセル値を代替する段階をさらに含むことを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記１１）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も左側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も上側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１２）
前記第１周辺ピクセルは、前記現在ブロックの最左下側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も下側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの下側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も左側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１３）
前記第１周辺ピクセルは、前記現在ブロックの最右上側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も右側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの右側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も上側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１４）
前記検索された第２周辺ピクセルのピクセル値に代替する段階は、
前記所定個数の周辺ピクセルのうち、前記利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルのピクセル値を所定値に代替することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記１５）
ビデオのイントラ予測装置において、
前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する利用可能性判断部と、
前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索し、前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する代替部と、
前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含むことを特徴とするビデオのイントラ予測装置。
（付記１）
ビデオのイントラ予測方法において、
前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する段階と、
前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索する段階と、
前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する段階と、
前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行う段階と、を含むことを特徴とするビデオのイントラ予測方法。
（付記２）
前記所定個数の周辺ピクセルの利用可能性を判断する段階は、
インター予測された周辺ブロック、または前記現在ブロックが属したスライスと異なるスライスに属した周辺ブロックに含まれた周辺ピクセルを、利用不可能であると判断することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記３）
前記第１周辺ピクセルは、前記所定個数の周辺ピクセルのうち既定位置のピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、最初に検索された利用可能な周辺ピクセルを、前記第２周辺ピクセルとして決定することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記４）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記現在ブロックの上側及び右上側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記５）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、前記現在ブロックの左側及び左下側の周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記６）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、
前記検索された利用可能な左側周辺ピクセル及び上側周辺ピクセルの平均値を利用して、前記第１周辺ピクセルのピクセル値を代替することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記７）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、上側から下側の方向に、前記現在ブロックの左側及び左下側の周辺ピクセルを検索し、利用可能な左側周辺ピクセルを決定し、前記第１周辺ピクセルを基準にして、左側から右側の方向に、前記現在ブロックの上側及び右上側の周辺ピクセルを検索し、利用可能な上側周辺ピクセルを決定し、前記検索された左側周辺ピクセル及び上側周辺ピクセルのうち、前記第１周辺ピクセルとの距離がさらに近い周辺ピクセルを、前記第２周辺ピクセルとして決定することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記８）
前記第１周辺ピクセルは、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち最左下側に位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、下側から上側の方向に、前記現在ブロックの左側及び左下側に位置した周辺ピクセルを検索し、前記現在ブロックの左側及び左下側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの上側及び右上側の周辺ピクセルを、左側から右側の方向に検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記９）
前記第１周辺ピクセルは、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち最右上側に位置した周辺ピクセルであり、
前記第２周辺ピクセルを検索する段階は、
前記第１周辺ピクセルを基準にして、右側から左側の方向に、前記現在ブロックの上側及び右上側に位置した周辺ピクセルを検索し、前記現在ブロックの上側及び右上側に位置した周辺ピクセルのうち利用可能な第２周辺ピクセルが存在しない場合、前記現在ブロックの左側及び左下側の周辺ピクセルを、上側から下側の方向に検索し、前記第２周辺ピクセルを検索することを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記１０）
利用不可能な第３周辺ピクセルが存在する場合、前記既定方向に基づいて、以前に検索された隣接した周辺ピクセルのピクセル値を利用して、前記第３周辺ピクセルのピクセル値を代替する段階をさらに含むことを特徴とする付記３に記載のビデオのイントラ予測方法。
（付記１１）
前記第１周辺ピクセルは、前記現在ブロックの左上側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も左側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も上側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１２）
前記第１周辺ピクセルは、前記現在ブロックの最左下側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も下側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの下側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も左側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの左側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１３）
前記第１周辺ピクセルは、前記現在ブロックの最右上側コーナーに位置した周辺ピクセルであり、
前記利用不可能な第３周辺ピクセルが、前記現在ブロックの上側に位置した場合、最も右側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの右側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替し、前記利用不可能な第３周辺ピクセルが、前記現在ブロックの左側に位置した場合、最も上側の第３周辺ピクセルから順次に、前記第３周辺ピクセルの上側に隣接した周辺ピクセルを利用して、第３周辺ピクセルを代替することを特徴とする付記１０に記載のビデオのイントラ予測方法。
（付記１４）
前記検索された第２周辺ピクセルのピクセル値に代替する段階は、
前記所定個数の周辺ピクセルのうち、前記利用可能な第２周辺ピクセルが存在しない場合、前記第１周辺ピクセルのピクセル値を所定値に代替することを特徴とする付記１に記載のビデオのイントラ予測方法。
（付記１５）
ビデオのイントラ予測装置において、
前記ビデオを構成するピクチャを階層的構造に分割したブロックのうち現在ブロックのイントラ予測に利用される所定個数の周辺ピクセルの利用可能性を判断する利用可能性判断部と、
前記所定個数の周辺ピクセルのうち利用不可能な第１周辺ピクセルが存在する場合、前記第１周辺ピクセルを基準にして、既定方向に、前記所定個数の周辺ピクセルを検索し、利用可能な第２周辺ピクセルを検索し、前記第１周辺ピクセルのピクセル値を、前記検索された第２周辺ピクセルのピクセル値に代替する代替部と、
前記代替された第１周辺ピクセルを含む前記所定個数の周辺ピクセルを利用して、前記現在ブロックに対するイントラ予測を行うイントラ予測遂行部と、を含むことを特徴とするビデオのイントラ予測装置。
【符号の説明】
【0264】
１００ ビデオ符号化装置
１１０ 最大符号化単位分割部、
１２０ 符号化単位決定部
１３０ 出力部
２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部
３１０、３２０、３３０ ビデオデータ
１１０ 最大符号化単位分割部、
１２０ 符号化単位決定部
１３０ 出力部
２００ ビデオ復号化装置
２１０ 受信部
２２０ 映像データ及び符号化情報抽出部
２３０ 映像データ復号化部
３１０、３２０、３３０ ビデオデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25A】
【図25B】
【図26】
【図27A】
【図27B】
【図28】
【図29】
【図30】
【図31】
【図32】