特許 6109803 ビデオ信号処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6109803

(24)【登録日】2017年3月17日

(45)【発行日】2017年4月5日

(54)【発明の名称】ビデオ信号処理方法及び装置

(51)【国際特許分類】

   H04N 19/52 20140101AFI20170327BHJP

   H04N 19/463 20140101ALI20170327BHJP

【ＦＩ】

   H04N19/52

   H04N19/463

【請求項の数】5

【全頁数】41

(21)【出願番号】特願2014-214584(P2014-214584)

(22)【出願日】2014年10月21日

(62)【分割の表示】特願2012-200528(P2012-200528)の分割

【原出願日】2008年10月16日

(65)【公開番号】特開2015-46926(P2015-46926A)

(43)【公開日】2015年3月12日

【審査請求日】2014年10月21日

(31)【優先権主張番号】60/980,432

(32)【優先日】2007年10月16日

(33)【優先権主張国】US

(31)【優先権主張番号】60/980,434

(32)【優先日】2007年10月16日

(33)【優先権主張国】US

(31)【優先権主張番号】60/980,435

(32)【優先日】2007年10月16日

(33)【優先権主張国】US

(31)【優先権主張番号】61/016,808

(32)【優先日】2007年12月27日

(33)【優先権主張国】US

(31)【優先権主張番号】61/029,577

(32)【優先日】2008年2月19日

(33)【優先権主張国】US

(31)【優先権主張番号】61/031,705

(32)【優先日】2008年2月27日

(33)【優先権主張国】US

(31)【優先権主張番号】61/075,759

(32)【優先日】2008年6月26日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(73)【特許権者】

【識別番号】509330024

【氏名又は名称】コリア アドバンスト インスティチュート オブ サイエンス アンド テクノロジー

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】ジョン，ビョン ムン

(72)【発明者】

【氏名】パーク，スン ウク

(72)【発明者】

【氏名】パーク，ジュン ヨン

(72)【発明者】

【氏名】サン，ジェ ウォン

(72)【発明者】

【氏名】パーク，ヒュン ウク

(72)【発明者】

【氏名】リ，ジェ ホン

(72)【発明者】

【氏名】リ，ジン ヨン

(72)【発明者】

【氏名】ジュン，ドン サン

(72)【発明者】

【氏名】ピャオ，インジ

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特開２００４−０７２７１２（ＪＰ，Ａ）

【文献】 特開２００７−０４９７４２（ＪＰ，Ａ）

【文献】 国際公開第２００７／０７４５４３（ＷＯ，Ａ１）

【文献】 特開２００４−１６５７０３（ＪＰ，Ａ）

【文献】 特開２００４−０２３４５８（ＪＰ，Ａ）

【文献】 特開２００４−０４０５７５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

デコーディング装置により符号化ビデオ信号を含むビットストリームをデコーディングする方法であって、
前記デコーディング装置により、前記ビットストリームから現在ブロックの動きベクトルの差を導出し、
前記デコーディング装置により、前記現在ブロックに使用される動きベクトル候補を示す、前記現在ブロックの動きベクトル指示情報を前記ビットストリームから取得し、
前記デコーディング装置により、空間的動きベクトルと時間的動きベクトルのうち少なくとも１つからなる複数の動きベクトル候補を含む、前記現在ブロックの動きベクトル候補セットを決定し、
前記デコーディング装置により、前記動きベクトル候補セットからの前記動きベクトル指示情報に対応する前記動きベクトル候補として、前記現在ブロックの予測された動きベクトルを決定し、
前記デコーディング装置により、前記予測された動きベクトル及び前記現在ブロックの前記動きベクトルの差を使用して前記現在ブロックに動き補償を行うことを含む、方法。

【請求項2】

前記現在ブロックとして同じレファレンスインデックスを有する近隣ブロックの動きベクトルは前記空間的動きベクトルとして使用され、前記近隣ブロックは前記現在ブロックに近接する左ブロック及び上ブロックの一つである、請求項１に記載の方法。

【請求項3】

前記現在ブロックとして同じレファレンスインデックスを有する近隣ブロックが存在しない場合、前記近隣ブロックの動きベクトルは、前記現在ブロックのピクチャ番号と前記近隣ブロックのピクチャ番号との差に基づいてスケールされる、請求項１に記載の方法。

【請求項4】

前記時間的動きベクトルは、前記現在ブロックを含む現在ピクチャ以外のピクチャの前記現在ブロックと同一の位置のブロックの動きベクトルである、請求項１に記載の方法。

【請求項5】

ビットストリームから現在ブロックの動きベクトルの差を導出し、前記現在ブロックに使用される動きベクトル候補を示す前記現在ブロックの動きベクトル指示情報を前記ビットストリームから取得するように構成されたエントロピーデコーディング部と、
空間的動きベクトルと時間的動きベクトルのうち少なくとも１つからなる複数の動きベクトル候補を含む、前記現在ブロックの動きベクトル候補セットを決定するように構成され、前記動きベクトル候補セットからの前記動きベクトル指示情報に対応する前記動きベクトル候補として、前記現在ブロックの予測された動きベクトルを決定するように構成され、前記予測された動きベクトル及び前記現在ブロックの前記動きベクトルの差を使用して前記現在ブロックに動き補償を行うように構成されたインター予測部と、を備えた符号化ビデオ信号を含むビットストリームのデコーディング装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ信号の処理方法及び装置に関するもので、より詳細には、ビデオ信号をエンコーディング又はデコーディングするビデオ信号処理方法及び装置に関するものである。

【背景技術】

【0002】

圧縮符号化は、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納するための一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮という。一般的に、ビデオ映像は、空間的重複性及び時間的重複性を有することを特徴とする。
〔先行技術文献〕
〔非特許文献〕
〔非特許文献１〕「Section 8.4, Inter prediction process」（H.264/AVC、2005年版）

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、前記のような空間的重複性及び時間的重複性を充分に除去しない場合、ビデオ信号を符号化するにおいて圧縮率が低下し、空間的重複性及び時間的重複性を過度に除去する場合、ビデオ信号をデコーディングするにおいて必要な情報を生成できないので、復元率が悪くなる。

【0004】

本発明は、前記のような問題を解決するためになされたもので、画面の境界領域に位置する各ブロックに制限されない９個のイントラ予測モードを全て用いることによって圧縮効率を増加させるビデオ信号処理方法及び装置を提供することを目的とする。

【0005】

本発明の他の目的は、多様な動きベクトルプレディクタ候補を用いることによって、動きベクトル予測の正確度を増加させるビデオ信号処理方法及び装置を提供することである。

【課題を解決するための手段】

【0006】

前記のような目的を達成するために本発明に係るビデオ信号処理方法は、予測モード情報、補間情報及び現在ブロックのレジデュアルを受信し、前記補間情報と周辺ブロックを用いて補間ピクセルを復元し、前記補間ピクセル、前記予測モード情報及び前記レジデュアルを用いて現在ブロックを復元することを含み、前記補間情報は、前記現在ブロックの位置に基づいて生成される。

【0007】

本発明によれば、前記補間情報は、前記補間ピクセルを生成するために用いられた前記周辺ブロックのピクセル情報及び前記補間ピクセルを生成する方法に関する情報を含むことができる。

【0008】

本発明によれば、前記補間情報は、前記現在ブロックが画面の境界領域に位置するかどうかを示すフラグ情報をさらに含むことができる。

【0009】

本発明によれば、ピクセル予測情報及びレジデュアルを含むビデオ信号を受信し、前記ピクセル予測情報及び前記レジデュアルを用いて現在ブロックの一つのピクセルを復元し、前記復元されたピクセル、前記ピクセル予測情報及び前記レジデュアルを用いて隣接ピクセルを復元することを含み、前記ピクセル予測情報は、隣接ピクセルのイントラ予測に用いられた予測ピクセル、予測方法及び予測方向を含み、前記隣接ピクセルは、現在ブロックに含まれるピクセルで、現在ブロックに含まれる他の各ピクセルを用いて予測されたものである。

【0010】

本発明によれば、前記予測ピクセルは、前記現在ブロック又は復元された周辺ブロックに含まれるピクセルである。

【0011】

本発明によれば、前記予測方法は、各隣接ピクセルの平均値を用いる方法及び方向性によって予測する方法である。

【0012】

本発明によれば、前記方向性によって予測する方法は、前記現在ピクセルを中心にして各方向で最も近い二つのピクセルの差を計算し、前記差が最も小さい方向の二つのピクセルの平均値を用いて予測することをさらに含む。

【0013】

本発明によれば、前記予測方向は、ＤＣモードを除いたイントラ予測モードの方向のうち一つで、現在ピクセルを中心にして各方向で前記現在ピクセルと最も近い二つのピクセルの差が最も小さい値を有する方向である。

【0014】

本発明の他の側面に係るビデオ信号の処理方法によれば、動きベクトルプレディクタ情報及び動きベクトルの差値を含むビデオ信号を受信し、空間的プレディクタ及び時間的プレディクタを用いて動きベクトルプレディクタ候補群セットを決定し、前記動きベクトルプレディクタ情報を用いて動きベクトルプレディクタを決定し、前記動きベクトルプレディクタ及び前記動きベクトルの差値を用いて現在ブロックの動き補償を行うことを含み、前記動きベクトルプレディクタは、前記動きベクトルプレディクタ候補群セットを用いて生成される。

【0015】

本発明によれば、前記動きベクトルプレディクタ候補群セットを決定するのは、現在ブロックがスキップモードを採択するかどうかによって決定される。

【0016】

本発明によれば、前記スキップモードは、８＊８ブロック、８＊１６ブロック、１６＊８ブロック及び１６＊１６ブロックのうちいずれか一つを単位ブロックとして含む。

【0017】

本発明によれば、前記現在ブロックがスキップモードである場合、前記動きベクトルプレディクタ候補群セットを決定するのは、前記空間的プレディクタのｘ成分と前記時間的プレディクタのｘ成分及び前記空間的プレディクタのｙ成分と前記空間的プレディクタのｙ成分の一致可否に基づいている。

【0018】

本発明のビデオ信号処理方法によれば、前記現在ブロックがスキップモードでない場合、前記動きベクトルプレディクタ候補群セットを決定するのは、前記空間的プレディクタのｘ成分と前記時間的プレディクタのｘ成分との間の距離及び前記空間的プレディクタのｙ成分と前記空間的プレディクタのｙ成分との間の距離に基づいている。

【0019】

本発明によれば、前記動きベクトルプレディクタ情報は、前記現在ブロックの動きベクトル予測時に用いられた前記動きベクトルプレディクタに関するものを表すことができる。

【0020】

本発明によれば、前記動きベクトルプレディクタ候補群セットを決定する前に、空間的プレディクタ及び時間的プレディクタを用いて動きベクトルプレディクタ決定方法を選択することをさらに含むことができる。

【0021】

本発明によれば、前記動きベクトルプレディクタ決定方法を選択するのは、前記空間的プレディクタ及び前記時間的プレディクタの大きさに基づいて決定される。

【0022】

本発明によれば、前記動きベクトルプレディクタ候補群セットを決定する前に、以前の画面の動きベクトル及び現在ブロックのタイプに基づいて動きベクトルプレディクタ決定方法を選択することをさらに含むことができる。

【0023】

本発明によれば、前記以前の画面の動きベクトル大きさの平均値が０〜２である場合、前記空間的プレディクタ及び前記時間的プレディクタを含む前記動きベクトルプレディクタ候補群セットを決定することができる。

【0024】

本発明によれば、前記以前の画面の動きベクトル大きさの平均値が２を超え、前記現在ブロックのタイプがスキップモード又は１６＊１６ブロックである場合、前記空間的プレディクタ及び前記時間的プレディクタを含む前記動きベクトルプレディクタ候補群セットを決定することができる。

【0025】

本発明によれば、前記動きベクトルプレディクタを決定するのは、現在ブロックと動き推定を行うブロックとの距離を考慮し、スケールされた動きベクトルプレディクタを生成することをさらに含むことができる。

【0026】

本発明の更に他の側面に係るビデオ信号の処理装置によれば、予測モード情報、補間情報及び現在ブロックのレジデュアルを含むビデオ信号を受信するビデオ信号受信部と、前記補間情報及び周辺ブロックを用いて補間ピクセルを復元する補間ピクセル復元部と、前記補間ピクセル、前記予測モード情報及び前記レジデュアルを用いて現在ブロックを復元する現在ブロック復元部とを含み、前記補間ピクセル復元部は、前記現在ブロックの位置に基づいて生成された前記補間情報を用いる。

【発明の効果】

【0027】

本発明は、次のような効果と利点を提供する。

【0028】

第一に、本発明のビデオ信号処理方法は、画面の境界領域に位置する各ブロックに制限されない９個のイントラ予測モードを全て用いることによって圧縮効率を増加させることができる。

【0029】

第二に、本発明のビデオ信号処理方法は、現在ブロックが周辺ブロックのピクセルのみならず、現在ブロック内の隣接ピクセルをイントラ予測に用いることによって予測の正確度及びコーディング効率を高めることができる。

【0030】

第三に、本発明のビデオ信号処理方法は、イントラスキップモードを用いることによってビット率を減少させることができる。

【0031】

第四に、本発明のビデオ信号処理方法は、分離イントラ予測モードを用いることによって、予測ブロックが現在ブロックの上部及び左側に位置するブロックに限定されないので、現在フレームの正確な予測を可能にすることができる。

【0032】

第五に、本発明のビデオ信号処理方法は、多様な動きベクトルプレディクタ候補を用いることによって、現在ブロックの動きベクトルと類似したプレディクタを採択して正確な動き予測を可能にすることができる。

【0033】

第六に、本発明のビデオ信号処理方法は、現在ブロックと以前のフレームとの類似性及び現在ブロックのタイプによって動きベクトルプレディクタ候補を決定することによって、現在ブロックの動き予測の正確性を増加させることができる。

【0034】

第七に、本発明のビデオ信号処理方法は、現在ブロックのレファレンスインデックスが示すフレームと周辺ブロックのレファレンスインデックスが示すフレームとの間の距離を考慮して動きベクトルプレディクタを決定することによって、決定された動きベクトルプレディクタと現在ブロックの動きベクトルとがより類似した値を有するようになり、予測の正確度を増加させることができる。

【0035】

第八に、本発明のビデオ信号処理方法は、部分スキップモードを用いることによってスキップモードがさらに活性化され、コーディング効率を高めることができ、従来のスキップモードより多くの動きベクトルを用いることによって現在ブロックの復元率を高めることができる。

【0036】

第九に、本発明のビデオ信号処理方法は、８＊８空間的ダイレクトモードを用いることによって、１６＊１６ブロック内で二つ以上の動きベクトルを用いることができ、現在ブロックが境界領域に位置したり、小さい物体が動く場合よりも高い復元率を有することができる。

【0037】

第十に、本発明のビデオ信号処理方法は、離散コサイン変換前に、列又は行で少ないレジデュアル値を有するブロックが左側又は上側に位置するように各レジデュアル信号を再配列し、離散コサイン変換を行う場合、各離散コサイン変換係数が左側（直流成分の近く）に集まって分布するようになるので、より高い圧縮効果を得ることができる。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施例に係るビデオ信号のエンコーディング装置を示す概略的なブロック図である。

【図2】本発明の一実施例に係るビデオ信号のデコーディング装置を示す概略的なブロック図である。

【図3】本発明の第１の実施例に係る拡張予測モードに使用される周辺ピクセル領域を示す図である。

【図4A】本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。

【図4B】本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。

【図4C】本発明の第１の実施例に係る拡張予測モードを用いるために補間された周辺ピクセルを示す図である。

【図5】本発明の第１の実施例に係る拡張予測モードを採用したビデオ信号のエンコーディング／デコーディング順序を示すフローチャートである。

【図6A】本発明の第１の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部を示すブロック図である。

【図6B】本発明の第１の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部を示すブロック図である。

【図7】本発明の第２の実施例に係るフレーム―ピクセル予測モードを行う順序を示すフローチャートである。

【図8A】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8B】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8C】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8D】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8E】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8F】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8G】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8H】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8I】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8J】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8K】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8L】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8M】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8N】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8O】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図8P】本発明の第２の実施例に係るエンコーディング／デコーディング装置のうちイントラ予測部で現在ブロックを予測及び復元する方法を示す図である。

【図9】本発明の第３の実施例に係るビデオ映像を示す図である。

【図10】本発明の第３の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。

【図11】本発明の第４の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。

【図12A】本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。

【図12B】本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。

【図12C】本発明の第４の実施例に係る分離イントラ予測モードを示すブロックの各例である。

【図13】本発明の第５の実施例に係るビデオ信号のエンコーディング装置を示す図である。

【図14】本発明の第５の実施例に係るビデオ信号のデコーディング装置を示す図である。

【図15】本発明の第５の実施例に係る現在ブロックの動きベクトル予測のために用いられる現在フレーム及び以前のフレームの動きベクトルを示す図である。

【図16A】本発明の第５の実施例に係る動きベクトルプレディクタ決定法で可能な動きベクトルプレディクタの組み合わせを示す図である。

【図16B】本発明の第５の実施例に係る動きベクトルプレディクタ決定法で可能な動きベクトルプレディクタの組み合わせを示す図である。

【図17】本発明の第５の実施例に係る動きベクトルプレディクタの決定及び動き補償の順序を示すフローチャートである。

【図18】本発明の第６の実施例に係る動きベクトルプレディクタ候補決定方法を示す図である。

【図19】本発明の第６の実施例による場合のＢＤレート圧縮率を示すグラフである。

【図20】本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを決定する方法を示す図である。

【図21】本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを決定する方法を示す図である。

【図22】本発明の第８の実施例の部分スキップモードで用いるブロックサイズを示す図である。

【図23A】従来の空間的ダイレクトモードを採択したP８＊８ブロックの動きベクトルを示す図である。

【図23B】本発明の第９の実施例に係る８＊８ブロックの動きベクトルを示す図である。

【図24】一般的なＤＣＴ方法を行うことを示す図である。

【図25】本発明の第１０の実施例に係る離散コサイン再配列変換方法を示す図である。

【発明を実施するための形態】

【0039】

以下、添付の図面を参照して本発明の好適な実施例を詳細に説明する。ここで、本明細書及び特許請求の範囲に使用された用語や単語は、通常的又は辞典的な意味に限定して解釈してはならず、発明者が自身の発明を最善の方法で説明するために用語の概念を適切に定義できるとの原則に立脚し、本発明の技術的思想に符合する意味と概念に解釈しなければならない。したがって、本明細書に記載された実施例と図面に示した構成は、本発明の最も望ましい一実施例に過ぎないもので、本発明の技術的思想を全て代弁するものではないので、本出願時点でこれらに取って代わる多様な均等物と変形例があり得ることを理解しなければならない。

【0040】

特に、本発明において、コーディングは、エンコーディング及びデコーディングを全て含む概念として理解しなければならず、周辺ブロックは、デコーディングが既に完了した現在ブロックの周辺に位置するブロックと理解しなければならない。

【0041】

図１は、本発明の一実施例に係るビデオ信号エンコーディング装置１００の概略的なブロック図である。図１を参照すれば、本発明の一実施例に係るビデオ信号エンコーディング装置１００は、変換部１１０、量子化部１１５、コーディング制御部１２０、逆量子化部１３０、逆変換部１３５、フィルタリング部１４０、フレーム格納部１４５、動き推定部１５０、インター予測部１６０、イントラ予測部１７０及びエントロピーコーディング部１８０を含む。

【0042】

変換部１１０は、画素値を変換して変換係数値を獲得するが、このとき、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はウェーブレット変換方式が使用される。特に、離散コサイン変換は、入力された映像信号を８＊８ブロックに分け、少ない数の映像信号に信号を集中させることによって圧縮効率を増加させるが、本発明で提案する離散コサイン変換の実施例については、後で図２３及び図２４を参考にして説明することにする。量子化部１１５は、変換部１１０によって出力された変換係数値を量子化する。コーディング制御部１２０は、特定ブロック又はフレームの画面内符号化を行うか、又は画面間符号化を行うかを制御する。逆量子化部１３０及び逆変換部１３５は、変換係数値を逆量子化し、逆量子化された変換係数値を用いて元の画素値を復元する。

【0043】

フィルタリング部１４０は、ブロック歪曲現象を減少させるために、コーディングされたそれぞれのマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化によって左右される。フィルタリングを経たピクチャは、出力され、参照ピクチャとして用いるためにフレーム格納部１４５に格納される。

【0044】

動き推定部１５０は、フレーム格納部１４５に格納された参照ピクチャを用いて、参照ピクチャのうち現在ブロックと最も類似した参照ブロックを探索する。動き推定部１５０は、探索された参照ブロックの位置情報などをエントロピーコーディング部１８０に伝達し、これをビットストリームに含ませることができる。インター予測部１６０は、参照ピクチャを用いて現在ピクチャの予測を行い、画面間符号化情報をエントロピーコーディング部１８０に伝達する。ここで、画面間符号化情報は、現在ブロックと予測されたブロック（プレディクタ）との差であるレジデュアルを含む。インター予測部１６０に対する第４の実施例〜第９の実施例は、後で図面を参照して具体的に説明することにする。

【0045】

また、イントラ予測部１７０は、現在ピクチャ内のデコーディングされたピクセルから画面内予測を行い、画面内符号化情報をエントロピーコーディング部１８０に伝達する。より詳細には、現在ピクチャ内で周辺ブロックのピクセルを用いて現在ブロックを予測し、現在ブロックと予測された現在ブロックとの差であるレジデュアルを生成する。イントラ予測部１７０に対する第１の実施例〜第３の実施例は、図３Ａ〜図１１Ｃを参照して具体的に説明することにする。

【0046】

エントロピーコーディング部１８０は、量子化された変換係数、画面間符号化情報、画面内符号化情報及び動き推定部１６０から入力された参照ブロック情報などのエントロピーコーディングを行い、ビデオ信号ビットストリームを生成する。ここで、エントロピーコーディング部１８０では、可変長さコーディング（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）方式と算術コーディングが使用される。可変長さコーディング（ＶＬＣ）方式は、入力される各シンボルを連続的なコードワードに変換するが、コードワードの長さは可変的である。例えば、頻繁に発生する各シンボルを短いコードワードとして表現し、頻繁に発生しない各シンボルを長いコードワードとして表現する。可変長さコーディング方式として、コンテキスト基盤の適応型可変長さコーディング（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ―ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）方式が使用される。算術コーディングは、連続的な各データシンボルを一つの素数に変換するが、算術コーディングは、各シンボルを表現するために必要な最適の素数ビットを得ることができる。算術コーディングとして、コンテキストベース適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ―ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｅ）が用いられる。

【0047】

図２は、本発明の一実施例に係るビデオ信号デコーディング装置を示す概略的なブロック図である。図２を参照すれば、本発明のビデオ信号デコーディング装置は、大きくエントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０、フレーム格納部２４０、インター予測部２５０及びイントラ予測部２６０を含む。

【0048】

エントロピーデコーディング部２１０は、ビデオ信号ビットストリームのエントロピーデコーディングを行い、各マクロブロックの変換係数、動きベクトルなどを抽出する。逆量子化部２２０は、エントロピーデコーディングされた変換係数を逆量子化し、逆変換部２２５は、逆量子化された変換係数を用いて元の画素値を復元する。一方、フィルタリング部２３０は、ブロック歪曲現象を減少させるためにコーディングされたそれぞれのマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたピクチャの画質を向上させる。フィルタリングを経たピクチャは、出力され、参照ピクチャとして用いるためにフレーム格納部２４０に格納される。インター予測部２５０は、フレーム格納部２４０に格納された参照ピクチャを用いて現在ピクチャを予測するが、このとき、図１を参照して説明したように、参照ピクチャを用いるようになる。また、エントロピーデコーディング部２１０から伝達された画面間予測情報（参照ピクチャインデックス情報、動きベクトル情報など）を用いることができる。

【0049】

一方、イントラ予測部２６０では、現在ピクチャ内のデコーディングされたピクセルから画面内予測を行うようになる。イントラ予測部２６５又はインター予測部２６０から出力された予測値及び逆変換部２２５から出力された画素値が加算され、復元されたビデオフレームが生成される。

【0050】

以下、本発明では、まず、エンコーディング装置のイントラ予測部１７０及びインター予測部１６０、デコーディング装置のイントラ予測部２６０及びインター予測部２５０でビデオ信号を効率的にデコーディングするための新しい各実施例を提示する。まず、イントラ予測部１７０、２６０の第１の実施例〜第４の実施例について説明した後、インター予測部１６０、２５０の第５の実施例〜第９の実施例について説明する。第１の実施例は図３〜図６Ｂを参照して説明し、第２の実施例は図７及び図８Ｂを参照して説明し、第３の実施例は図９及び図１０を参照して説明し、第４の実施例は図１１〜図１２を参照して説明する。

【0051】

図３は、本発明の第１の実施例の拡張予測モードが採用される周辺ピクセル領域を示す図で、図４Ａ〜図４Ｃは、拡張予測モードを用いるために補間された周辺ピクセルを示す図である。また、図５は、拡張予測モードを採用したビデオ信号のエンコーディング／デコーディング順序を示すフローチャートである。図６Ａは、ビデオ信号エンコーディング装置のうちイントラ予測部の第１の実施例の構成を示す図で、図６Ｂは、ビデオ信号デコーディング装置のうちイントラ予測部の第１の実施例の構成を示す図である。

【0052】

まず、図３を参照すれば、一つのフレームは、複数個のイントラブロック単位の集合で構成される。前記単位ブロックは、イントラ４＊４ブロックであったり、イントラ８＊８又はイントラ１６＊１６である。一般的に、イントラＮ＊Ｎブロックは、９個の予測モードを用いてイントラ予測を行うことができ、前記予測モードは、現在ブロックの左側に位置する４個のピクセル及び上端の８個のピクセルを用いて予測を行う。しかし、図３に示すように、現在ブロックが境界領域に位置する場合、イントラ予測のために用いられるピクセルが存在しないことがある。このような境界領域は、上端部のうち最も左側のブロック（Ａ）、上端部（Ｂ）、左側部（Ｃ）及び右側部（Ｄ）である。

【0053】

フレームの上端部のうち最も左側のブロック（Ａ）は、予測を用いる現在ブロックの左側ピクセル及び上部ピクセルが全て存在しないので、９個の予測モードのうち平均値を用いるＤＣモード（モード２）のみを採択することができる。上端部（Ｂ）は、現在ブロックの上部ピクセルが存在しないので、予測モード１（Ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎ）、モード２（ＤＣ）及びモード８（Ｈｏｒｉｚｏｎｔａｌ Ｕｐ ｄｉｒｅｃｔｉｏｎ）のみを用いることができ、左側部（Ｃ）は、モード０（Ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎ）、モード２（ＤＣ）、モード３（Ｄｉａｇｏｎａｌ Ｄｏｗｎ Ｌｅｆｔ）及びモード７（Ｖｅｒｔｉｃａｌ Ｌｅｆｔ）のみを用いることができる。また、右側部（Ｄ）に該当するブロックは、モード３（Ｄｉａｇｏｎａｌ Ｄｏｗｎ Ｌｅｆｔ）及びモード７（Ｖｅｒｔｉｃａｌ Ｌｅｆｔ）を除いた６個の予測モードのみを用いることができる。

【0054】

このように、境界領域に位置する各ブロック（Ａ、Ｂ、Ｃ、Ｄ）は、利用可能な予測モードに制限を有するが、現在のエントロピーコーディング部１８０、２１０で可変長さ方式（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）によってコーディングされる場合、無条件に最大４ビットが伝送されるように制限されている。したがって、空いている予測モードの数だけビット損失が発生するようになる。

【0055】

本発明の第１の実施例では、現在ブロックが境界領域（Ａ、Ｂ、Ｃ、Ｄ）に位置する場合、現在存在する周辺ピクセルを用いて空いている周辺ピクセルを補間することをさらに含む。したがって、境界領域に位置する各ブロックに制限されない９個の予測モードを全て用いることができ、このような予測モードを拡張イントラ予測モードという。

【0056】

以下では、本発明の拡張イントラ予測モードを用いるために、境界領域に位置するブロックの周辺ピクセルを補間する方法を説明する。

【0057】

現在ブロックが上端部のうち最も左側のブロック（Ａ）である場合、空いているモード０、１、３〜７にそれぞれ異なるＤＣ予測値を代入して伝送する。例えば、現在モード２で有する１２８のＤＣ予測値の他に、モード０には１０８のＤＣ予測値を代入し、モード１には１１８を代入し、モード３には１３８を代入し、モード４には１４８を代入し、モード５には９８を代入し、モード６には８８を代入し、モード７には１５８を代入し、モード８には１６８を代入して伝送することによって、最も良いコーディング効率及び復元率を有する値を選択できるようになる。

【0058】

現在ブロックが上端部（Ｂ）、左側部（Ｃ）及び右側部（Ｄ）に位置する場合、補間された周辺ピクセルについて図４Ａ〜図４Ｃに示す。

【0059】

まず、図４Ａは、現在ブロックが上端部（Ｂ）に位置する場合の補間されたピクセルを示した図である。図４Ａを参照すれば、現在ブロックの左側に位置するＩ、Ｊ、Ｋ、Ｌピクセルは、Ａブロックに属するピクセルとして存在するが、上部のｘ、ａ〜ｈピクセルは元々存在しない。したがって、前に存在したＩ、Ｊ、Ｋ、Ｌピクセルを用いて上部のｘ、ａ〜ｈピクセルを補間することによって各ピクセルを生成することができる。

【0060】

ｘ、ａ〜ｈピクセルを補間するために多様な方法を用いることができる。例えば、ｘ、ａ〜ｈピクセルにＩピクセルをそのまま補間して用いることができ、Ｉ、Ｊピクセルの平均値をｘ、ａ〜ｈピクセルに補間することができる。また、Ｉ〜Ｌピクセル値をａ〜ｄピクセルとｅ〜ｈピクセル値にそのまま反映し、Ｉ〜Ｌピクセルの平均値をｘピクセルに補間する方法を採択することができる。ｘ、ａ〜ｈピクセルを補間する方法は、前記I〜Ｌピクセルを用いる方法に限定されず、復元されたＡブロック（現在ブロックの左側ブロック）に残りのピクセルを用いることもできる。

【0061】

まず、図４Ｂは、現在ブロックが左側部（Ｂ）に位置する場合の補間されたピクセルを示した図である。図４Ｂを参照すれば、現在ブロックの上部に位置するａ〜ｈピクセルは、復元されたＡ、Ｂブロックに属するピクセルとして存在するが、左側のｘ、Ｉ〜Ｌピクセルは元々存在しないピクセルである。したがって、前に存在したａ〜ｈピクセルを用いて左側のｘ、Ｉ〜Ｌピクセルを補間することによって各ピクセルを生成することができる。

【0062】

前記ｘピクセル及びＩ〜Ｌピクセルを生成するために、例えば、ａピクセルをｘピクセル及びＩ〜Ｌピクセルにそのまま補間して用いることができ、ａ〜ｄピクセルの平均値をｘピクセル及びＩ〜Ｌピクセルに補間することができ、ａ〜ｄピクセルの平均値をｘピクセルに補間し、ａ〜ｄピクセル値をＩ〜Ｌピクセル値にそのまま反映することができる。しかし、前記補間方法は、これに限定されず、復元されたＡブロック及びＢブロックの残りのピクセルを用いることができる。

【0063】

まず、図４Ｃは、現在ブロックが右側部（Ｃ）に位置する場合の補間されたピクセルを示した図である。図４Ｃを参照すれば、現在ブロックの上部及び左側に位置するａ〜ｈピクセルとＩ〜Ｌピクセルは、復元されたＡ、Ｂブロックに属するピクセルとして存在するが、上部右側のｅ〜ｈピクセルは元々存在しないピクセルである。したがって、前に存在したａ〜ｈピクセル及びＩ〜Ｌピクセルを用いてｅ〜ｈピクセルを補間することによって各ピクセルを生成することができる。

【0064】

前記ｅ〜ｈピクセルを生成するために多様な補間方法を用いることができる。例えば、ａ〜ｄピクセルの平均値をｅ〜ｈピクセル値として用いることができ、Ｉ〜Ｌピクセルの平均値をｅ〜ｈピクセル値として用いることができ、ｄピクセル値をｅ〜ｈピクセル値として用いることもできる。前記補間方法は、これに限定されず、復元されたＡブロック及びＢブロックの残りのピクセルを用いることができる。

【0065】

図５及び図６Ａを参照すれば、ビデオ信号のエンコーディング装置のうちイントラ予測部１７０は、補間決定部６１０、補間ブロック生成部６２０及び予測モード決定部６３０を含む。まず、現在ブロックに対する情報が入力されれば、補間決定部６１０は、現在ブロックが境界領域（画面上端部のうち最も左側ブロック、上端部、左側部、右側部）に該当するかどうかを判断し、補間を行うかどうかを決定する。現在ブロックが境界領域に該当するかどうかは、現在ブロックの位置情報によって判断する（Ｓ５１０段階）。例えば、現在ブロックの位置は、現在ブロックを構成するピクセル値を用いて知ることができる。一方、補間決定部５１０は、補間を行うことが決定される場合、現在ブロックの周辺ピクセルが補間を用いて生成されたかどうかを示す補間情報を生成し、これをビットストリームに含ませることができる。前記補間情報は、現在ブロックが境界領域のうちいずれの位置に存在するかを示すことができ、補間が行われたかどうかを示すこともでき、例えば、フラグ形態で存在することもできる。

【0066】

補間ピクセル生成部６２０は、現在ブロックの位置情報を用いて現在ブロックが境界領域に該当すると判断される場合、周辺ブロック及び現在ブロックに対する情報を受け、周辺ブロックのピクセルを用いて補間ピクセルを生成する（Ｓ５２０段階）。補間ブロック生成部６２０で元々存在しない補間ピクセルを生成する方法は、図４Ａ〜図４Ｃを参照して説明した方法と同一である。

【0067】

補間決定部６１０で現在ブロックが境界領域に位置しないと判断される場合、現在ブロックのイントラ予測のための周辺ピクセルが全て存在するので、現在ブロックに対する情報は予測モード決定部６３０に入力される。

【0068】

補間を行うことによって、現在ブロックの全ての周辺ピクセルが生成された後、周辺ブロックに対する情報及び現在ブロックに対する情報は予測モード決定部６３０に入力される。予測モード決定部６３０は、補間された各周辺ピクセルを用いて現在ブロックの９個のイントラ予測を行った後、予測モードを決定する（Ｓ５３０段階）。また、決定された予測モードによって予測されたブロック（プレディクタ）と現在ブロックとの差であるレジデュアルを生成し、予測モード情報、レジデュアル及び前記のように生成された補間情報をビットストリームに含ませてデコーディング装置に伝送する（Ｓ５４０段階）。

【0069】

図５及び図６Ｂを参照すれば、デコーディング装置（のエントロピーデコーディング部）は、予測モード情報、補間情報及びレジデュアルを受信する（Ｓ５５０段階）。その後、デコーディング装置のイントラ予測部２６０の補間ブロック復元部６４０は、受信された補間情報及び周辺ブロックを用いて補間ブロックを復元する（Ｓ５６０段階）。デコーディング装置の補間ブロックを復元する段階は、図４Ａ〜図４Ｃを参照して説明した通りである。

【0070】

現在ブロック復元部６５０は、Ｓ５６０段階で生成された補間ブロック及びＳ５５０で受信された予測モード情報を用いて現在ブロックのイントラ予測を生成し（Ｓ５７０段階）、前記イントラ予測及び受信されたレジデュアルを用いて現在ブロックを復元する（Ｓ５８０段階）。

【0071】

このように、本発明の第１の実施例は、周辺ピクセルを補間して現在ブロックのイントラ予測に用いることによって、現在ブロックが境界領域に位置するとしても、イントラ予測を用いてコーディングすることができる。

【0072】

また、本発明の第２の実施例は、イントラ予測を用いて現在フレームを復元するにおいて、ブロック単位としてジグザグ方向に復元するのとは異なり、現在フレームを構成する複数個のブロックが同時にピクセル単位で復元される新しいイントラ予測モードを提案する。すなわち、現在フレームで左側上端に位置するブロックのイントラ予測を行った後、右側ブロックのイントラ予測を順次進行するのでなく、現在フレームを構成する複数個のブロックで既に設定された順序によって各ピクセルのイントラ予測を順次行う。このような現在フレームのイントラ予測方法をフレーム―ピクセル予測モードといい、これについては図７〜図８Ｐを参照して詳細に説明する。

【0073】

図７は、本発明の第２の実施例に係るフレーム―ピクセル予測モードを行う順序を示すフローチャートである。図７に示すように、現在フレームがフレーム―ピクセル予測モードを採択する場合、現在ブロックは、まず、復元された以前のフレームに位置する周辺ブロックを用いて現在ブロックの第１のピクセルを予測する（Ｓ７１０段階）。このとき、現在ブロックで最も先にイントラ予測が行われる第１のピクセルは、現在ブロックで最も右側下端に位置するピクセルであるが、これに限定されることはない。その後、第１のピクセルを用いて隣接ピクセルのイントラ予測を行い、ピクセル予測情報及びレジデュアルを生成する（Ｓ７２０段階）。前記ピクセル予測情報（以下、ＰＰＩという）は、隣接ピクセルのイントラ予測に用いられた予測ピクセル（プレディクタ）、予測方法及び予測方向のうちいずれか一つ以上を含むことができる。また、レジデュアルは、ピクセル予測情報によって予測されたピクセル（プレディクタ）と現在ピクセルとの差であり、ピクセル単位で生成される。

【0074】

隣接ピクセルのイントラ予測が行われれば、本発明のエンコーディング装置１００のイントラ予測部１７０及びデコーディング装置のイントラ予測部２６０は、現在ブロックのイントラ予測が全て完了したかどうかを判断し（Ｓ７３０段階）、現在ブロックのイントラ予測が全て完了した場合、Ｓ７２０段階で生成されたピクセル予測情報（ＰＰＩ）及びレジデュアルを伝送する（Ｓ７４０段階）。

【0075】

その一方、現在ブロックのイントラ予測が全て完了していない場合、既に予測された各ピクセルを用いて隣接ピクセルを予測し、ピクセル予測情報（ＰＰＩ）及びレジデュアルを生成する段階を反復する。このとき、予測が完了したピクセルを用いて予測される各隣接ピクセルは、予測順序によって第２のピクセル、第３のピクセル、…、第Ｎのピクセルという。前記第１のピクセル〜第Ｎのピクセルのイントラ予測を行う方法については、後で図８Ａ〜図８Ｐを参照して詳細に説明する。

【0076】

本発明の第２の実施例に係るデコーディング装置のインター予測部２６０は、まず、ピクセル予測情報（ＰＰＩ）及びレジデュアルを受信し（Ｓ７５０段階）、受信されたピクセル予測情報（ＰＰＩ）及びレジデュアルを用いて現在ブロックの第１のピクセルを復元する（Ｓ７６０段階）。前記第１のピクセルの復元のために用いられるレジデュアルは、他のピクセルとは異なり、以前のフレームに位置するピクセルと第１のピクセルとの差値からなる。

【0077】

その後、復元された第１のピクセル、ピクセル予測情報及びレジデュアルを用いて第２のピクセルを復元し（Ｓ７７０段階）、現在ブロックの復元が完了したかどうかを判断した後（Ｓ７８０段階）、現在ブロックの復元が完了していない場合、復元された第１のピクセル、第２のピクセル、ピクセル予測情報及びレジデュアルを用いて再び第３のピクセルを復元し、これら各段階は、現在ブロックの復元が完了するまで継続的に行われる。本発明の第２の実施例に係るエンコーディング装置及びデコーディング装置のイントラ予測部１７０、２６０で現在ブロックを予測及び復元する方法については、図８Ａ〜図８Ｐを参照して説明する。

【0078】

本発明の第２の実施例に係るフレーム―ピクセルイントラ予測モードは、図８Ａに示すように、以前のフレームに位置する各ピクセルを用いて現在ブロックのうち最も右側下端に位置した第１のピクセル（図８Ａのピクセル０）の先にイントラ予測を最も先に行う。このとき、第１のピクセルを予測するための予測モードとしては、従来の９個の予測モードを全て用いることができ、イントラ予測と同時に、エンコーディング装置のイントラ予測部１７０では、ピクセル予測情報（ＰＰＩ）とレジデュアルが生成される。前記第１のピクセルのピクセル予測情報は、以前のフレームに位置し、ピクセル予測に用いられた各ピクセル（プレディクタ）であって、予測方法は、９個の予測モードのうち最も効率性が高い予測モードであって、レジデュアルは、第１のピクセルの予測に用いられた各ピクセルと第１のピクセルとの間の差である。

【0079】

第２のピクセルのイントラ予測は、第１のピクセル（０）を用いて行われる。本発明の第２の実施例に係るフレーム―ピクセル予測モードは、第２のピクセル〜第Ｎのピクセル（第１のピクセルは除く）のイントラ予測モードとして次のような二つの方法を用いるが、これに限定されることはない。

【0080】

第一の方法は、隣接した各ピクセルの平均値を用いて予測する方法で、第二の方法は、方向性によって予測する方法である。すなわち、第一の方法は、イントラ予測を行おうとする現在ピクセルと最も隣接した各ピクセルの平均値を予測ピクセル（プレディクタ）として用いて現在ピクセルのイントラ予測を行う。第二の方法は、まず、現在ピクセルを中心にして可能な８個の方向に対して最も近い二つのピクセル間の差を計算し、最も小さい差値を有する方向を予測方向として決定する。選択された予測方向で現在ピクセルと最も近い二つのピクセルの平均値を現在ピクセルの予測ピクセル（プレディクタ）として用いて現在ピクセルのイントラ予測を行う。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。

【0081】

図８Ｂを参照すれば、第２のピクセル（１）は、第１のピクセル（０）の平均値を用いてイントラ予測を行うことができ、第２のピクセル（１）を中心にして第１の方向（第２の方向の計算値は同一であるので省略）に位置した第１のピクセル（０）間の差を計算し、第１のピクセル（０）の平均値を予測ピクセルとして用いてイントラ予測を行う。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。

【0082】

図８Ｃを参照すれば、第３のピクセル（２）は、周辺の予測が完了した第１のピクセル（０）及び第２のピクセル（１）を第３のピクセルの予測ピクセル（プレディクタ）として用いて第３のピクセルのイントラ予測を行う。図８Ｃに示すように、第３のピクセル（２）は、隣接した第１のピクセル（０）及び第２のピクセル（１）の平均値を予測ピクセルとして用いることができる。また、図８Ｃの第１の方向及び第２の方向での近いピクセル間の差を求めて予測方向を決定し、予測方向で近い二つのピクセル（第１の方向の選択時には二つの第１のピクセル（０）、第２の方向の選択時には二つの第２のピクセル（１））の平均を予測ピクセルとして用いることができる。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。

【0083】

図８Ｄを参照すれば、第４のピクセル（３）は、予測が完了した第１のピクセル（０）〜第３のピクセル（２）を第４のピクセルの予測ピクセル（プレディクタ）として用いて第４のピクセルのイントラ予測を行う。図８Ｄに示すように、第４のピクセル（３）は、隣接した第１のピクセル（０）、第２のピクセル（１）及び第３のピクセル（２）の平均値を予測ピクセルとして用いることができる。また、図８Ｄの第１の方向〜第３方向で近いピクセル間の差を求め、例えば、第１の方向では二つの第２のピクセル（１）間の差を求め、これを比較して予測方向を決定し（例えば、第２の方向）、予測方向（第２の方向）で近い二つのピクセル（第３のピクセル（２））の平均を予測ピクセルとして用いることができる。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。

【0084】

また、図８Ｅを参照すれば、第５のピクセル（４）は、予測が完了した第１のピクセル（０）〜第４のピクセル（３）を第５のピクセルの予測ピクセル（プレディクタ）として用いて第５のピクセルのイントラ予測を行う。図８Ｅに示すように、第５のピクセル（４）は、隣接した第１のピクセル（０）、第２のピクセル（１）及び第３のピクセル（２）の平均値を予測ピクセルとして用いることができる。また、図８Ｅの第１の方向及び第２の方向で近いピクセル間の差を求め、これを比較して予測方向を決定し、決定された予測方向で近い二つのピクセルの平均を予測ピクセルとして用いることができる。

【0085】

例えば、図８Ｅを参照すれば、第３のピクセル（２）及び第４のピクセル（３）を含む第１の方向と第１のピクセル（０）及び第２のピクセル（１）を含む第２の方向での二つのピクセル間の差を求め、これを比較し、より小さい値を有する方向を予測方向として決定する。第１の方向が予測方向として選択される場合、第５のピクセル（４）のイントラ予測を行うための予測ピクセル（プレディクタ）は、第５のピクセル（４）と第１の方向で隣接した第３のピクセル（２）と第４のピクセル（３）の平均である。また、イントラ予測と同時に、ピクセル予測情報とレジデュアルが生成される。

【0086】

このような方法で、図８Ｆ〜図８Ｐに示すように、予測が完了した周辺ピクセルを用いて第６のピクセル（５）〜第１６のピクセル（１５）のイントラ予測を行うことができ、イントラ予測と同時に、各ピクセルと関連したピクセル予測情報とレジデュアルが生成される。

【0087】

また、第１のピクセル〜第Ｎのピクセルのイントラ予測が行われ、各ピクセルに関するピクセル予測情報とレジデュアルが生成されるごとに、現在ブロックのイントラ予測が完了したかどうかを判断する。現在ブロックのイントラ予測が完了した場合、第１のピクセル〜第Ｎのピクセルに対するピクセル予測情報とレジデュアルを伝送するようになる。

【0088】

本発明のビデオ信号のデコーディング装置のイントラ予測部２７０は、第１のピクセル〜第Ｎのピクセルに対するピクセル予測情報とレジデュアルを受け、現在ブロックの復元を行う。まず、受信された第１のピクセルのピクセル予測情報とレジデュアルを用いて現在ブロックの第１のピクセルを復元し、復元された第１のピクセルと第２のピクセルのピクセル予測情報及びレジデュアルを用いて現在ブロックの第２のピクセルを復元する。このような方式で、現在ブロックの第Ｎのピクセルまで順次復元し、現在ブロックの復元を完了することができる。

【0089】

このように、本発明の第２の実施例に係るビデオ信号のデコーディング方法は、現在ブロックが周辺ブロックのピクセルのみならず、現在ブロックの隣接ピクセルをイントラ予測に用いることによって、より正確な予測が可能になる。また、各隣接ピクセルは、二つ以上の方向から選択されたプレディクタ値を用いて予測するので、離散コサイン変換時よりも多い０の係数を有するブロックが生成され、コーディング効率を高めることができる。

【0090】

本発明の第３の実施例は、現在ブロックのイントラ予測を行うにおいて、一定の場合、周辺ブロックから予測を行わず、周辺ブロックのピクセル値をそのまま用いるイントラスキップモードを提案する。図９は、本発明の第３の実施例に係るビデオ映像を示す図で、図１０は、本発明の第３の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートである。

【0091】

従来のイントラ予測は、１６＊１６ブロック、８＊８ブロック及び４＊４ブロックを用い、９個のイントラ予測モードを用いて行われる。しかし、画面間相関度が低下し、イントラ予測モードを用いなければならないとき、現在ブロックと周辺ブロックが類似した場合は、従来のイントラ予測を行うよりも、周辺ブロックをそのまま用いる方がより効率的である。

【0092】

図９を参照すれば、図９の帽子に表れたボックス（Ｂｏｘ Ａ）や顔の左側のボックス（Ｂｏｘ Ｂ）と以前の画面との相関度が低下し、インター予測を用いることができない場合を仮定する。この場合、イントラ予測を行うが、ボックス内部の各ブロックは類似性を有するので、周辺ブロックのピクセル値をそのまま現在ブロックのピクセル値として用い、別途にイントラ予測を行わないイントラスキップモードを用いることが効率的である。このとき、予測モード情報及びレジデュアルが伝送されないことは当然である。

【0093】

図１０を参照すれば、まず、現在ブロックは、イントラ予測及びインター予測のうちいずれの予測を行うかを決定する（Ｓ１０１０段階）。現在ブロックのイントラ予測又はインター予測を決定するのは、従来の方法と同一である。前記段階で現在ブロックがイントラ予測を行うと決定される場合、イントラスキップモードは、現在ブロックが従来のイントラ予測を行う場合よりも効率が良い場合のみに採択される。まず、現在ブロックは、イントラ予測モードを用いた場合とイントラスキップモードを用いた場合のＲＤコストを全て計算する（Ｓ１０２０段階）。このとき、ＲＤコスト（以下、効率）は、下記の数学式１のように計算される。

【0094】

［数１］

【数1】

【0095】

ここで、Ｄは、ＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｓｔｏｒｔｉｏｎ）で、Ｒは、要求ビット数である。

【0096】

効率を計算した後、現在ブロックがイントラスキップモードを用いるとき、効率がより良い場合にイントラスキップモードを採択し（Ｓ１０３０段階の「Ｙｅｓ」）、予測ブロックを決定し、イントラスキップ情報及び選択された予測ブロック情報を伝送する（Ｓ１０４０段階）。前記イントラスキップ情報は、現在ブロックがイントラスキップモードを用いたかどうかを示すフラグ情報（ｉｎｔｒａ Ｓｋｉｐ ｆｌａｇ）である。

【0097】

本発明のデコーディング装置のイントラ予測部２６０は、イントラスキップ情報及び予測ブロック情報を受信する（Ｓ１０５０段階）。前記イントラスキップ情報がフラグ情報の形態である場合、イントラスキップモードフラグ情報の意味は、下記の表１に示す通りである。

【0098】

[表１]

【表1】

【0099】

受信されたイントラスキップモードフラグ情報（ｉｎｔｒａ ｓｋｉｐ ｆｌａｇ）が１である場合、本発明のデコーディング装置のうちイントラ予測部２６０は、予測ブロック情報によって予測ブロックのピクセル値を現在ブロックのピクセル値としてそのまま用いる（Ｓ１０６０段階）。

【0100】

その一方、現在ブロックがイントラ予測モードを用いるように決定された場合（Ｓ１０３０段階での「Ｎｏ」）、イントラＮ＊Ｎ予測を行い、レジデュアル及び予測モード情報を伝送する（Ｓ１０７０段階）。また、本発明のデコーディング装置のうちイントラ予測部２６０では、前記レジデュアル及び予測モード情報を受信し、従来のイントラ予測方法を用いて現在ブロックを復元する（Ｓ１０８０段階）。

【0101】

このように、本発明の第３の実施例によって現在ブロックのイントラ予測を行うためにイントラスキップモードを用いる場合、インター予測が非効率的であり、周辺ブロックと類似したビデオ信号の予測及び復元に効率的である。また、イントラ予測を行う必要がなく、レジデュアル及びＣＢＰを伝送する必要がないので、使用されるビット率を減少させることができる。

【0102】

イントラ予測を行うフレームは、イントラ１６＊１６ブロック、イントラ８＊８ブロック及びイントラ４＊４ブロックにコーディングされる。それぞれのモードで、特定ブロックは、既に復元された上部及び左側に位置したブロックを用いて予測される。特に、イントラ４＊４ブロックを用いるモードは高周波領域で用いられるが、現在ブロックのイントラ予測のために、予測ブロック（プレディクタ）は、上部及び左側に位置したブロックのみを用いるように制限される。しかし、これは、現在ブロックを予測及び復元するのに充分でなく、現在ブロックが境界に位置する場合に非効率的である。したがって、現在ブロックの予測のために、以前に復元されたブロックのみならず、次に復元されるブロックを用いることによって、より正確な予測を可能にすることができる。

【0103】

したがって、本発明の第４の実施例は、このようなイントラ予測モードの問題を解決するために、現在ブロックを含む現在フレームの新しいイントラ予測方法である分離イントラ予測モードを提案する。一つのイントラフレームは、二つ又は四つの独立的なサブフレームに区分可能であり、分離されたフレームでの多様な分離イントラ予測モードが存在しうる。モーションを有する連続的なフレームと異なり、サブ―ピクセルが移動するサブフレーム間には高い剰余性（ｒｅｄｕｃｄａｎｃｙ）が存在するので、イントラフレームのサブフレームでの分離イントラ予測モードは非常に効率的である。

【0104】

図１１は、本発明の第４の実施例に係るビデオ信号のエンコーディング及びデコーディング順序を示すフローチャートで、図１２Ａ〜図１２Ｃは、本発明の第４の実施例の分離イントラ予測モードを示す各例である。

【0105】

まず、図１１を参照すれば、本発明のエンコーディング装置のイントラ予測部１７０は、現在フレームに対して従来のイントラ予測を行い、ＲＤコストを計算する（Ｓ１１１０段階）。また、本発明の第４の実施例に係るイントラ予測部は、分離イントラモード構造情報（Ｓｅｐａｒａｔｅ Ｉｎｔｒａ Ｍｏｄｅ Ｓｔｒｕｃｔｕｒｅ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＩＭＳＩ）の入力を受ける。前記分離イントラモード構造情報（ＳＩＭＳＩ）は、サブフレームの種類及び分離イントラモードの構造に関するものを含み、前記サブフレームの種類は、複数個の１６＊１６ブロック、８＊８ブロック、４＊４ブロックであったり、一つの１６＊１６ブロック、８＊８ブロック、４＊４ブロックであったり、一つ又は複数個のピクセル単位であるが、これに限定されることはない。また、分離イントラモードの構造は、ＩＰ構造、ＩＰＰＰ構造、ＩＢＢＰ構造であり、これについては、後で図１２Ａ〜図１２Ｃを参照して詳細に説明することにする。

【0106】

その後、現在フレームに対して従来のイントラ予測を行った後、前記分離イントラモード構造情報（ＳＩＭＳＩ）を用いて分離イントラモードの構造による現在フレームの分離イントラ予測を行う（Ｓ１１２０段階）。現在フレームに対する従来のイントラ予測と分離イントラモード予測の場合、効率（ＲＤコスト）を計算し、分離イントラモード予測の効率がより良い場合、これを選択する（Ｓ１１３０段階）。その後、選択された分離イントラモードの種類及び分離イントラモード構造を含む分離イントラモード情報（ｓｅｐａｒａｔｅ ｉｎｔｒａ ｍｏｄｅ ｉｎｆｏｒｍａｔｉｏｎ、ＳＩＤＩという）及び予測に用いられたブロック（プレディクタ）と現在ブロックとの間のレジデュアルを伝送する（Ｓ１１４０段階）。また、分離イントラ予測モードが採択されたかどうかを示す分離イントラ予測フラグ情報（ｓｅｐａｒａｔｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｆｌａｇ）を伝送することができる。

【0107】

本発明のデコーディング装置のイントラ予測部２６０は、分離イントラ予測フラグ情報がエンコーダから伝送された場合、これを受信する。分離イントラ予測フラグ情報の意味は、下記の表２に示す通りである。

【0108】

[表２]

【表2】

【0109】

分離イントラ予測フラグが０である場合、現在フレームの復元のために従来のイントラ予測モードを行う。その一方、分離イントラ予測フラグが１である場合、分離イントラ予測モードを行うので、前記分離イントラモード情報（ＳＩＭＩ）とレジデュアルを受信し（Ｓ１１５０段階）、分離イントラモード情報（ＳＩＭＩ）、レジデュアル及び以前のフレームを用いて現在フレームの第１のサブフレームグループを復元する（Ｓ１１６０段階）。また、分離イントラモード情報、レジデュアル及び前記第１のサブフレームグループを用いて第２のサブフレームグループを復元する（Ｓ１１７０段階）。

【0110】

選択された分離イントラモード構造がＩＰＰＰ構造である場合、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第３のサブフレームグループを復元し、再び分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ、前記第２のサブフレームグループ及び前記第３のサブフレームグループを用いて第４のサブフレームグループを復元する。また、ＩＢＢＰ構造である場合、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第３のサブフレームグループを復元し、分離イントラモード情報、レジデュアル、前記第１のサブフレームグループ及び前記第２のサブフレームグループを用いて第４のサブフレームグループを復元する。以下では、分離イントラモード構造による分離イントラ予測モードの予測方法について図１２Ａ〜図１２Ｃを参照して説明する。

【0111】

図１２Ａを参照すれば、現在フレーム（Ｉ ｆｒａｍｅ）は、サブフレーム単位で第１のサブフレームと第２のサブフレームに区分され、インタレース走査方式で位置することができ、現在フレームを両分し、左側は第１のサブフレーム、右側は第２のサブフレームであるが、これに限定されることはない。図１２Ａに示すように、第１のサブフレームと第２のサブフレームが交互に位置することもでき、このような第１のサブフレームの集合を第１のサブフレームグループといい、第２のサブフレームの集合を第２のサブフレームグループという。まず、第１のサブフレームグループは、従来のイントラ予測モードを用いてコーディングされ、第２のサブフレームグループは、第１のサブフレームグループを参照して現在フレーム内でイントラ予測を用いてコーディングされる。

【0112】

図１２Ｂは、分離イントラ予測モードのうちＩＰＰＰ構造及びＩＰＰＰ予測方法を示す図で、現在フレームは合計４個のサブフレームに分離され、それぞれのサブフレームの集合は、第１のサブフレームグループ〜第４のサブフレームグループである。図１２Ｂに示すように、第１のサブフレームグループは、従来のイントラ予測モードを用いて予測を行ってコーディングされる。その後、第２のサブフレームグループは、第１のサブフレームグループを用いてイントラ予測を行ってコーディングされ、第３のサブフレームグループは、第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行い、第４のサブフレームグループは、第１のサブフレームグループ〜第３のサブフレームグループを用いてイントラ予測を行う。

【0113】

図１２Ｃは、分離イントラ予測モードのうちＩＢＢＰ構造及びＩＢＢＰ予測方法を示す図で、現在フレームは、図１２Ｂと同様に、合計４個のサブフレームに分離される。図１２Ｃに示すように、ＩＢＢＰ予測方法は、まず、第１のサブフレームグループが従来のイントラ予測モードを用いてイントラ予測を行い、第２のサブフレームグループは第１のサブフレームグループを用いてイントラ予測を行い、第３のサブフレームグループは第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行い、第４のサブフレームグループは第１のサブフレームグループ及び第２のサブフレームグループを用いてイントラ予測を行う。

【0114】

このとき、分離イントラ予測モードでのサブフレームの配置順序は、図１２Ａ〜図１２Ｃに示した順序に限定されず、多様な順序を選択することができる。また、前記構造及び予測方法は、上述したように、分離イントラモード情報に含まれる。

【0115】

このように、本発明の第４の実施例に係る分離イントラ予測モードを用いる場合、予測ブロックが現在ブロックの上部及び左側に位置したブロックに限定されないので、現在フレームの正確な予測を可能にすることができる。

【0116】

本発明のビデオ信号のデコーディング方法は、新しいイントラ予測モードのみならず、動きベクトル推定及び補償と関連して高い効率のための新しいモードを提案する。以下では、インター予測部１６０、２５０の第５の実施例〜第９の実施例について説明する。第５の実施例は図１３〜図１７を参照して説明し、第６の実施例は図１８及び図１９を参照して説明し、第７の実施例は図２０及び図２１を参照して説明し、第８の実施例は図２２を参照して説明し、第９の実施例は図２３Ａ及び図２３Ｂを参照して説明する。

【0117】

ビデオ信号のデコーディング装置のうちインター予測部１６０、２５０では、動きベクトルプレディクタ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、以下、ｍｖｐという）を決定するために平均値フィルタを用いる。しかし、動きベクトルプレディクタ（ｍｖｐ）と推定された動きベクトルとの間に誤差が存在するので、正確な動きベクトルプレディクタ（ｍｖｐ）を探すことがエンコーダの重要な役割である。したがって、本発明の第５の実施例では、より正確な動きベクトルプレディクタ（ｍｖｐ）を決定するための方法（以下、動きベクトルプレディクタ決定法という）について図１３〜図１７を参照して説明することにする。

【0118】

図１３及び図１４は、本発明のビデオ信号のエンコーディング装置及びデコーディング装置を示す図で、本発明のビデオ信号のエンコーディング装置及びデコーディング装置は、動きベクトルプレディクタ生成部１３５０、１４４５をさらに含む。エンコーディング装置の動きベクトルプレディクタ生成部１３５０は、既に設定された方法によって動きベクトルプレディクタ候補セットを決定し、決定されたセットで可能な動きベクトルプレディクタのうち最も効率が良い動きベクトルプレディクタを決定し、決定された動きベクトルプレディクタと関連した動きベクトルプレディクタ情報（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ Ｉｎｆｏｒｍａｔｉｏｎ、ＭＶＰＩ）を伝送する。

【0119】

このように、より正確な動きベクトルプレディクタ（ｍｖｐ）を動きベクトル推定及び補償のために用いるために、本発明の第５の実施例は、より多くの動きベクトルプレディクタ（ｍｖｐ）の候補群を設定し、このうち最も効率的な動きベクトルプレディクタ（ｍｖｐ）を用いる。まず、動きベクトルプレディクタ（ｍｖｐ）は、種類によって大きく空間的プレディクタ、時間的プレディクタ及び空間―時間的プレディクタに分けられる。

【0120】

図１５は、現在ブロックの動きベクトル予測のために用いられる現在フレーム及び以前のフレームの動きベクトルを示す図である。図１５を参照すれば、空間的プレディクタは、現在フレーム（Ｎフレーム）の動きベクトルを用いるもので、現在ブロックの動きベクトルをｍｖとしたとき、Ｎフレームのａ、ｂ、ｃブロックの動きベクトルを用いたｍｖａ、ｍｖｂ、ｍｖｃ、ｍｖｄ及び３個の動きベクトルプレディクタのうち中間値を採択するｍｖ ｍｅｄ、及び３個以上の動きベクトルプレディクタのうち中間値を採択するｍｖ ｓｐａＥＸＴを含むことができる。図１５を参照すれば、時間的プレディクタは、以前のフレーム（Ｎ−１フレーム）の動きベクトルを用いるもので、以前のフレームで現在ブロックと同一の位置に存在するブロックのモーションベクトルを用いるｍｖ ｃｏｌ、ｍｖ ｃｏｌ、ｍｖｔ０…ｍｖｔ３の中間値を用いるプレディクタ及びＭＶｃｏｌ、ＭＶｔ０…ＭＶｔ８の中間値を用いるプレディクタを含むことができる。また、空間―時間的プレディクタは、ｍｖ ｃｏｌ、ｍｖ ｃｏｌ、ｍｖａ、ｍｖｂ、ｍｖｃの平均値を用いる動きベクトルプレディクタ（ｍｖ ｓｐｔ）である。動きベクトルプレディクタのうち必須的に用いられる空間的プレディクタを第１の動きベクトルプレディクタといい、本発明の第５の実施例で追加的に用いる空間的プレディクタ又は時間的プレディクタを第２の動きベクトルプレディクタという。図１４に示すように、前記第１の動きベクトルプレディクタは、中間動きベクトル（ｍｖ ｍｅｄ）であって、前記第２の動きベクトルプレディクタは、現在ブロックの左側に位置するブロックの動きベクトルを用いるａ―動きベクトルプレディクタ（ｍｖａ）又はｍｖ ｃｏｌであるが、これに限定されることはない。

【0121】

上述したように、固定された中間値を用いて動きベクトルプレディクタを決定せずに、多様な候補群から動きベクトルプレディクタを決定するので、動きベクトルプレディクタの正確度が高くなる。しかし、前記のように動きベクトルプレディクタが１０個の候補群に固定される場合、多様な動きを有する画面をコーディングするにおいて非効率的である。

【0122】

したがって、本発明の第５の実施例は、新しい動きベクトルプレディクタ候補群セット（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ Ｃａｎｄｉｄａｔｅ Ｓｅｔ、ＭＶＰＣＳ）を設定し、これを決定するための条件を提示する。前記動きベクトルプレディクタ候補群セットは、下記の表３に示す通りである。

【0123】

[表３]

【表3】

【0124】

ここで、Ｓは、空間的プレディクタを示し、Ｔは、時間的プレディクタを示す。

【0125】

また、前記動きベクトルプレディクタ候補群セットのための空間的プレディクタはｍｖ ｍｅｄのみを用い、時間的プレディクタとしてはｍｖｃｏｌを用いることができるが、これに限定されることはない。前記動きベクトルプレディクタ候補群セットとしてセット４が決定される場合、可能な動きベクトルプレディクタは（Ｓｘ―Ｓｙ、Ｓｘ―Ｔｙ、Ｔｘ―Ｓｙ、Ｔｘ―Ｔｙ）の４個の場合を含むので、各場合のモーションコスト（Ｍｏｔｉｏｎ ｃｏｓｔ）に基づいてより明確な動きベクトルプレディクタを決定できるようになる。

【0126】

図１６Ａ及び図１６Ｂは、本発明の第５の実施例の動きベクトルプレディクタ決定法による場合、可能な動きベクトルプレディクタの組み合わせを示す図である。図１６Ａは、現在ブロックがスキップモードである場合を示し、図１６Ｂは、現在ブロックがスキップモード以外である場合を示す。

【0127】

従来のスキップモードは、以前のフレームの動きベクトルプレディクタを現在ブロックの動きベクトルとして用いるもので、一つの動きベクトルプレディクタ候補のみが存在する。その一方、本発明の動きベクトルプレディクタ決定法による方法は、動きベクトルプレディクタの候補が第１の動きベクトルプレディクタのみならず、第２の動きベクトルプレディクタも用いるので、最大４個の組み合わせ可能な候補が存在する。図１６Ａを参照すれば、現在ブロックの第１の動きベクトルプレディクタがＡで、第２の動きベクトルプレディクタがＢであり、これらの組み合わせで、動きベクトル候補は、ａ（第１の動きベクトルプレディクタ）、ｂ（第２の動きベクトルプレディクタ）、ｃ（第１の動きベクトルプレディクタｘ成分―第２の動きベクトルプレディクタｙ成分）又はｄ（第２の動きベクトルプレディクタｘ成分―第１の動きベクトルプレディクタｙ成分）である。この場合、動きベクトルプレディクタのための動きベクトルプレディクタ情報は２ビットを要求することができる。

【0128】

また、図１６Ｂを参照すれば、現在ブロックがスキップモードでなく、分割された場合は、動きベクトルプレディクタ情報がより多くのビットを要求するので、まず、第１の動きベクトルプレディクタと第２の動きベクトルプレディクタとの間の距離（ｍｖ１−ｍｖ２）を測定する。測定された第１の動きベクトルプレディクタと第２の動きベクトルプレディクタとの間の距離が１／２ピクセル以下で、二つのプレディクタが近い場合、第１の動きベクトルプレディクタを現在ブロックの動きベクトルプレディクタとして決定し、従来の動きベクトル予測方法を用いる。このとき、現在ブロックが従来の動きベクトル予測方法を用いるか、それとも動きベクトルプレディクタ決定法を用いたかを示す動きベクトルプレディクタ決定フラグ（ｍｖ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）を用いることができる。第１の動きベクトルプレディクタが現在ブロックの動きベクトルプレディクタとして決定されれば、従来の動きベクトル予測方法を用いたことを示す動きベクトルプレディクタ決定フラグ（ｍｖ ｐｒｅｄｉｃｔｏｒ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）に０をセッティングして伝送することができる。前記動きベクトルプレディクタ決定フラグ情報の意味は、次の表４に示す通りである。

【0129】

[表４]

【表4】

【0130】

図１７は、本発明の第５の実施例に係る動きベクトルプレディクタの決定及び動き補償の順序を示すフローチャートである。図１７を参照すれば、まず、動きベクトルプレディクタ候補群セットを決定する前に、下記の数学式２を計算する（Ｓ１７１０段階）。

【0131】

［数２］

【数2】

【0132】

以前のフレームで現在ブロックと同一の位置に存在するブロックの動きベクトルを用いたｍｖ ｃｏｌの値が過度に大きい場合、これは、以前のフレームと現在ブロックとの相関度が過度に低下することを意味する。したがって、前記数学式２の条件を満足する場合（Ｓ１７１０段階の「Ｙｅｓ」）は、時間的プレディクタを用いずに、空間的プレディクタのみを用いて動きベクトルプレディクタを決定する（Ｓ１７２０段階）。動きベクトルプレディクタとして空間的プレディクタのみを用いるかどうかは、ｘ成分とｙ成分に対して別途に決定される。

【0133】

その一方、前記数学式２の条件を満足しない場合（Ｓ１７１０段階の「Ｎｏ」）、下記の数学式３又は数学式４の条件を計算し、用いる動きベクトルプレディクタ候補群セットを決定する（Ｓ１７３０段階）。数学式３は、動きベクトルスキップモードのための条件で、数学式４は、スキップモードを除いた場合のための条件である。

【0134】

[数３]

【数3】

【0135】

[数４]

【数4】

【0136】

動きベクトルプレディクタ生成部１３５０、１４４５は、前記条件を用いて現在ブロックの最も効率的な動きベクトルプレディクタ候補群を決定する。例えば、ｍｖ ｍｅｄ（Ｓｘ、Ｓｙ）及びｍｖ ｃｏｌ（Ｔｘ、Ｔｙ）の条件を検討した結果、セット３が現在ブロックの動きベクトルプリディクタ候補群セットとして決定された場合、可能な動きベクトルプレディクタ（ｍｖｐ）は２個（Ｓｘ−Ｓｙ又はＴｘ−Ｓｙ）である。このとき、各動きベクトルプレディクタを用いるときのモーションコストを測定し、現在ブロックの動きベクトルプレディクタ（Ｓｘ−Ｓｙ）を決定する（Ｓ１７４０段階）。その後、いずれの組み合わせの動きベクトルプレディクタ（Ｓｘ−Ｓｙ）を用いたかを示す動きベクトルプレディクタ情報を伝送する（Ｓ１７５０段階）。このとき、動きベクトルプレディクタ情報は、ｍｖ ｃｏｌがｍｖ ｓｐａ ｍａｘ及びｍｖ ｔｅｍｐ ｍａｘのうち最大値の２倍より大きい場合（Ｓ１７１０段階の「Ｙｅｓ」）、空間的プレディクタに関する情報を含むことができる。

【0137】

本発明のデコーディング装置のうち動き補償部１４４５は、動きベクトルプレディクタ情報を受信し、自体的に現在ブロックに対して数学式３又は数学式４の条件を計算し、動きベクトルプレディクタ候補群セットを決定する（Ｓ１７６０段階）。その後、受信した動きベクトルプレディクタ情報及び決定されたセットの条件を用いて、現在ブロックの動き補償を行う（Ｓ１７７０段階）。このような多様な動きベクトルプレディクタ候補を用いて、現在ブロックの動きベクトルとより類似したプレディクタを採択することによって、より正確な動きベクトル予測を可能にすることができる。

【0138】

従来の動きベクトルプレディクタ決定法を用いる場合、既存のＡＶＣ方法を用いる場合に比べてビット率の減少が約−０．５％である反面、本発明の第５の実施例に係る動きベクトルプレディクタ決定法を用いる場合は、約−０．８％ほどビット率が減少した。また、ＰＳＮＲ（ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）においても、本発明の第５の実施例に係る動きベクトルプレディクタ決定法を用いる場合、従来の方法を用いる場合よりも約０．０２８ｄＢ向上した。

【0139】

このように、本発明の第５の実施例の動きベクトルプレディクタ決定法は、多様な動きベクトルプレディクタ候補を用いて、現在ブロックの動きベクトルとより類似した動きベクトルプレディクタを採択することによって、より正確な動きベクトル予測が可能である。

【0140】

また、本発明の更に他の実施例である第６の実施例では、以前のフレームの動きベクトルの平均値及び現在ブロックのタイプによって動きベクトルプレディクタ候補を決定することができる。動きベクトルプレディクタ候補決定方法は、図１８を参照して説明することにする。

【0141】

一般的に動きの大きい各フレームは連続しているので、以前のフレームの各動きベクトルの平均的な大きさによって現在フレームが以前のフレームと相関度を有するかどうかを判断することができる。以前のフレームの各動きベクトルの平均値が一定の値（ｔｈｒｅｓｈｏｌｄ）以上であれば、現在フレームは、以前のフレームに比べて動きが大きいので、以前のフレームとの相関度が低下するようになる。したがって、動きベクトルプレディクタ候補として二つ以上の空間的プレディクタを用いることができる。その一方、以前のフレームの各動きベクトルの平均値が一定の値以下であれば、現在フレームは、以前のフレームに比べて動きが少なくなるので、以前のフレームとの相関度が大きくなり、以前のフレームの動きベクトルを用いる時間的プレディクタを用いることが効率的である。この場合、動きベクトルプレディクタ候補は、一つ以上の空間的プレディクタのみならず、一つ以上の時間的プレディクタを含むことができる。

【0142】

したがって、本発明の第６の実施例に係る動きベクトルプレディクタ候補決定方法は、以前のフレームの動きベクトル大きさの平均値（ｍｖ ｐｒｅ ａｖｇ）が１以下であるかどうかを判断する（Ｓ１８１０段階）。以前のフレームの動きベクトルの平均値（ｍｖ ｐｒｅ ａｖｇ）が１より大きい場合、これは、現在ブロックを含む現在フレームが動きの大きいフレームであることを示す。この場合、本発明の第６の実施例と同様に、現在ブロックと以前のフレームとの相関度が少ないので、２個の空間的プレディクタを用いることが効率的である。しかし、現在ブロックが互いに類似性の少ないサブブロックからなる場合はそうでない。したがって、現在ブロックのブロックタイプがスキップモード又は１６＊１６モードであるかを検討する（Ｓ１８２０段階）。スキップモード又は１６＊１６モードでない場合（Ｓ１８２０段階の「Ｎｏ」）、現在ブロックはサブブロックに分割されており、分割された各サブブロック間の相関度が少ないことを意味する。この場合、第２の動きベクトルプレディクタとして空間的プレディクタを用いる（Ｓ１８３０段階）よりは、時間的プレディクタを用いることが効率的である。現在ブロックがスキップモード又は１６＊１６モードである場合、第１の動きベクトルプレディクタとして空間的プレディクタを用いるとともに、第２の動きベクトルプレディクタとして空間的プレディクタを用いること（Ｓ１８４０段階）が効率的であることは当然である。

【0143】

以前のフレームの動きベクトルの平均値が１未満であれば（Ｓ１８１０段階の「Ｙｅｓ」）、現在フレームは現在ブロックと以前のフレームとの類似性が大きい遅い映像であるので、第１の動きベクトルプレディクタ及び第２の動きベクトルプレディクタとして空間的プレディクタを用いることが効率的である。

【0144】

このように、現在ブロックと以前のフレームとの類似性及び現在ブロックのタイプによって用いる動きベクトルプレディクタ候補を異なるように決定することによって、現在ブロックの動き予測の明確性を増加させることができる。

【0145】

本発明の第５の実施例及び第６の実施例の動きベクトルプレディクタ決定法で生成された動きベクトルプレディクタ情報は、現在ブロックが８＊８ブロックである場合を除いては２ビットを要求する。現在ブロックが８＊８ブロックであれば、分割によって動きベクトルプレディクタ情報を最大１６ビットまで要求できるので、従来の動きベクトル予測方法が効率的である。したがって、ブロックごとに動きベクトルプレディクタ決定法によるかどうかを示す動きベクトルプレディクタ決定フラグ情報（ｍｖ ｃｏｍｐｅｔｉｔｉｏｎ ｆｌａｇ）を含むことができる。

【0146】

下記の表５は、本発明の第６の実施例の動きベクトルプレディクタ候補決定法と従来の方法を用いる場合の効果を比較するために実験で使用された条件を示すもので、表６は、表５の条件下で動き予測を行うときに用いられる動きベクトル候補を示すものである。

【0147】

[表５]

【表5】

【0148】

[表６]

【表6】

【0149】

ここで、ｍｖ ｓｐａＥＸＴは、３個のベクトルを用いることができる場合は、図１５のｍｖａ、ｍｖｂ、ｍｖｃを用い、そうでない場合は、ｍｖａ、ｍｖｂ、ｍｖｃのうち可能な動きベクトルを用いて決定される。

【0150】

図１９は、前記ｃａｓｅ１〜３の動きベクトルを動きベクトルプレディクタ候補として使用する場合と、本発明の第６の実施例によって決定された動きベクトルプレディクタを用いた場合のＢＤレート利得を示す図である。前記ＢＤレートは、符号化性能を示す指標であって、同一の画質を維持しながらビット率をどれだけ圧縮したかを意味する。

【0151】

図１９を参照すれば、ほとんどの場合では、ｃａｓｅ１〜３の動きベクトルプレディクタ候補を用いた場合よりも、本発明の第６の実施例による場合にビット率の圧縮程度が増加したことが分かり、実質的に、本発明の第５の実施例に係るビデオ信号のデコーディング方法に比べて、約０．１ｄＢ程度のＰＳＮＲ［ｄＢ］が増加したことが分かる。

【0152】

また、本発明の更に他の実施例である第７の実施例では、現在ブロックの動き推定が行われるブロックと周辺ブロックとの距離を考慮し、生成された動きベクトルプレディクタを用いる新しい方法を図２０及び図２１を参照して説明する。

【0153】

従来の現在ブロックの動きベクトルプレディクタは、現在ブロックの周辺３個のブロックを用いて生成する。図２０は、現在ブロック及び周辺３個のブロックを示す図で、前記周辺３個のブロックは、現在ブロックの左側ブロック、上部ブロック及び上部右側ブロックを示す。図２０を参照すれば、現在ブロックの動きベクトルをｍｖｃといい、現在ブロックの左側ブロックの動きベクトルをｍｖｌといい、上部ブロックの動きベクトルをｍｖｕといい、上部右側の動きベクトルをｍｖｕｒという。現在ブロックの動きベクトルプレディクタを決定するためには、周辺３個のブロックのレファレンスインデックスのうち現在ブロックのレファレンスインデックスと同一であるものがあるかどうかを検討する。現在ブロックのレファレンスインデックスと同一のレファレンスインデックスを有する周辺ブロックが１個である場合、前記周辺ブロックの動きベクトルを動きベクトルプレディクタとして決定する。そうでない場合（同一のレファレンスインデックスを示す周辺ブロックが１個でない場合）、周辺３個のブロックの動きベクトルのうち中間値を選択し、これを現在ブロックの動きベクトルプレディクタとして決定し、レファレンスインデックスは、周辺３個のブロックのレファレンスインデックスのうち最も小さい数として決定する。

【0154】

しかし、現在ブロックのレファレンスインデックスが周辺３個のブロックのレファレンスインデックスでない他のレファレンスインデックスを有する場合、前記のような方法で決定された動きベクトルプレディクタは、現在ブロックの動きベクトルと大きな差を有する。したがって、決定される動きベクトルプレディクタと現在ブロックの動きベクトルとが類似するようにするためには、本発明の第７の実施例に係る「スケールされた動きベクトルプレディクタ」を用いることが効率的である。

【0155】

図２１は、本発明の第７の実施例に係るスケールされた動きベクトルプレディクタを用いて動き予測を行う方法を示すフローチャートである。図２１を参照すれば、動きベクトル予測を行うにおいて、現在ブロックのレファレンスインデックスと同一の値を有する周辺ブロックがあるかどうかを検討する（Ｓ２１１０段階）。現在ブロックのレファレンスインデックスと同一の値を有する周辺ブロックがある場合、従来の動きベクトルプレディクタ決定方法による（Ｓ２１２０段階）。しかし、現在ブロックのレファレンスインデックスが周辺ブロックのレファレンスインデックスと一致しない場合（Ｓ２１１０段階の「Ｎｏ」）、スケールされた動きベクトルプレディクタ（Ｓｃａｌｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ、ＳＭＶＰ）を計算する（Ｓ２１３０段階）。スケールされた動きベクトルプレディクタは、下記の数学式５を用いて求めることができる。

【0156】

[数５]

【数5】

【0157】

ここで、ｆ_MEは、現在ブロックに対して動き推定が行われるブロックのフレームナンバーを示し、ｆ_Cは、現在ブロックのフレームナンバーを示し、ｆ_L，ｆ_U，ｆ_URは、それぞれ現在ブロックの左側ブロック、上部ブロック、上部右側ブロックのフレームナンバーを示す。

【0158】

現在ブロックの動きベクトルプレディクタは、前記スケールされた各動きベクトルプレディクタから決定され、決定されたスケールされた動きベクトルプレディクタを用いて現在ブロックの動きベクトル予測を行い（Ｓ２１４０段階）、現在ブロックの動きベクトル差値（ｍｖｄ）、レファレンスインデックス及びスケールされた動きベクトルプレディクタ情報を伝送する（Ｓ２１５０段階）。また、スケールされた動きベクトルプレディクタを現在ブロックの動きベクトル予測に用いたかどうかを示すスケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）を伝送することもできる。前記スケールされた動きベクトルプレディクタフラグ情報が用いられる場合、前記フラグ情報の意味は下記の表７に示す通りである。

【0159】

[表７]

【表7】

【0160】

本発明のデコーディング装置のインター予測部２５０では、スケールされた動きベクトルプレディクタ情報、ｍｖｄ及びレファレンスインデックスを受信し（Ｓ２１６０段階）、これらを用いて現在ブロックの動きベクトルを復元する（Ｓ２１７０段階）。前記スケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）を伝送する場合、スケールされた動きベクトルプレディクタ情報が伝送されないことがある。この場合、スケールされた動きベクトルプレディクタフラグ情報（ｓｃａｌｅｄ ｍｖ ｐｒｅｄｉｃｔｏｒ ｆｌａｇ）の値が１であれば、受信されたレファレンスインデックス、ｍｖｄ及び周辺ブロックの動きベクトルを用いてスケールされた動きベクトルプレディクタを求めることができ、これを用いて現在ブロックの動きベクトルを復元する。

【0161】

したがって、本発明の第７の実施例に係る現在ブロックの動きベクトルを予測する方法は、現在ブロックのレファレンスインデックスが示すフレームと周辺ブロックのレファレンスインデックスが示すフレームとの間の距離を考慮して動きベクトルプレディクタを決定することによって、決定された動きベクトルプレディクタが現在ブロックの動きベクトルとより類似した値を有するようにし、予測の正確度を増加させることができる。

【0162】

動きベクトルを用いて現在ブロックを予測する方法は、動きの大きい画面でより正確に現在ブロックをコーディングできるが、ビット要求率が大きいので、一定の条件ではスキップモードを用いる。スキップモードは、周辺ブロックを動きベクトルプレディクタとして用いて動きベクトル差値を計算せずに、周辺ブロックの動きベクトル（ｍｖＰ）を現在ブロックの動きベクトルとして用いる。スキップモードを用いる場合、レジデュアル、レファレンスインデックス、ＣＢＰ（Ｃｏｄｅｄ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）などの情報をコーディングしない。しかし、現在、Ｈ．２６４では、スキップモードを採択する場合に１６＊１６ブロックのみを用いるように制限しているので、１６＊１６ブロック当たり二つ以上の動きベクトルを有することができない。

【0163】

本発明の第８の実施例では、スキップモードで動きベクトルを有する単位ブロックが多様な大きさを有することができる部分スキップモードを提案する。図２２は、部分スキップモードで用いるブロックサイズを示す図である。

【0164】

図２２を参照すれば、部分スキップモードは、１６＊１６ブロックのみならず、１６＊８ブロック、８＊１６ブロック、８＊８ブロックを用いることができる。従来のスキップモードは、１６＊１６ブロック当たり一つの動きベクトルを有する反面、部分スキップモードは、１６＊１６ブロック内で最大４個の動きベクトル（８＊８ブロック使用時）を有することが可能である。したがって、部分スキップモードを用いる現在ブロックのデコーディング方法は、映像の歪曲を最小化すると同時に、スキップモードをより活性化することによってコーディング効率を増加させることができる。

【0165】

本発明の第８の実施例に係る部分スキップモードは、新しいブロックタイプを用いるので、部分スキップモードを用いたブロックのタイプに関する情報をさらに伝送することができる。ブロックタイプに関する情報は、ブロック大きさによってｓｋｉｐ １６＊１６、ｓｋｉｐ １６＊８、ｓｋｉｐ ８＊１６、ｓｋｉｐ Ｐ８＊８であるが、これに限定されることはない。また、従来のスキップモード又は本発明の部分スキップモードを用いたかどうかを示す部分スキップモードフラグ情報（ｐａｒｔｉａｌｌ ｓｋｉｐ ｆｌａｇ）を伝送することができる。前記フラグ情報の意味は、下記の表８に示す通りである。

【0166】

[表８]

【表8】

【0167】

本発明のデコーディング装置のインター予測部２５０では、ブロックタイプ情報、部分スキップモードフラグ情報を受信し、部分スキップモードが用いられる場合、以前のフレームで現在ブロックと同一の位置にあるブロックの動きベクトルを現在ブロックの動きベクトルとして用いる。この場合、スキップモードがより活性化され、コーディング効率を高めることができ、従来のスキップモードよりも多くの動きベクトルを用いることによって現在ブロックの復元率を高めることができる。

【0168】

一方、エンコーダから動きベクトルと関連した如何なる情報も伝送されず、デコーダで独自にこれを誘導して用いることがより効率的である場合もある。このように、ビデオ信号のデコーディング装置では、現在ブロックの動き予測に必要な情報を直接誘導するダイレクトモードを用いることができる。このようなダイレクトモードは、空間的ダイレクトモード及び時間的ダイレクトモードを含み、空間的ダイレクトモードは、デコーダ上で現在ブロックの動きベクトル及びレファレンスインデックスを周辺ブロックから誘導し、時間的ダイレクトモードは、従来のＢピクチャダイレクトモードと同一の方法で行われる。空間的ダイレクトモードは、時間的ダイレクトモードとは異なり、Ｐ８＊８ブロックが空間的ダイレクトモードを採択する場合も１６＊１６ブロック単位で一つの動きベクトルのみを誘導して用いるように制限される。

【0169】

したがって、本発明の第９の実施例では、空間的ダイレクトモードで多様な動きベクトルを用いることができる８＊８空間的ダイレクトモードを提案する。図２３Ａ及び図２３Ｂは、従来の空間的ダイレクトモードを採択したＰ８＊８ブロックの動きベクトルと本発明の第９の実施例に係る８＊８ブロックの動きベクトルを示した図である。

【0170】

図２３Ａを参照すれば、従来の方法で現在ブロックがＰ８＊８ブロックで、ダイレクトモードを用いる場合、１６＊１６ブロックを構成するＰ８＊８ブロックは、いずれも同一の動きベクトル及びレファレンスインデックスを有する。図２３Ａに示すように、ブロックＡ、Ｂ、Ｃ、Ｄは、１６＊１６ブロックの左側に位置するブロックであるａブロック、上端のｂブロック、上端右側のｃブロックを用いて中間値フィルタリングを通して同一の動きベクトル（ｍｖ）とレファレンスインデックスを誘導して用いる。

【0171】

その一方、図２３Ｂを参照すれば、本発明の８＊８空間的ダイレクトモードは、周辺ブロックを用いて多様な動きベクトルを誘導して用いる。図２３Ｂを参照すれば、Ａ’ブロックは、周辺ブロックであるａ’ブロック、ｃ’ブロック及びｄ’ブロックの動きベクトルのうち中間値をＡ’ブロックの動きベクトル（ｍｖａ’）として用いる。Ｂ’ブロックは、周辺ブロックであるａ’ブロック、ｄ’ブロック及びｅ’ブロックの動きベクトルを用いて動きベクトル（ｍｖｂ’）を誘導し、Ｃ’ブロックはｂ’ブロック、ｃ’ブロック及びｄ’ブロックを用いて、Ｄ’ブロックはｂ’ブロック、ｄ’ブロック及びｅ’ブロックを用いて動きベクトル（ｍｖｃ’、ｍｖｄ’）を誘導する。このとき、レファレンスインデックスは、コーディング効率を高めるために、従来の方法と同様に、用いられた周辺ブロックのレファレンスインデックスのうち最も小さい値を選択する。

【0172】

このように、本発明の８＊８空間的ダイレクトモードは、P８＊８ブロックごとに動きベクトルを計算し、１６＊１６ブロック内で二つ以上の動きベクトルを用いることによって、現在ブロックが境界領域に位置したり、小さい物体が動く場合により高い復元率を有することができる。

【0173】

一方、本発明の更に他の一実施例では、離散コサイン変換段階で各ビデオ信号を再配列する段階をさらに含むことによってビット伝送率を減少させ、元の映像との誤差を減少させるビデオ信号の処理方法について、図２４及び図２５を参考にして説明する。

【0174】

図２４を参照すれば、従来の離散コサイン変換は、ビデオ信号を２次元周波数成分に変換し、変換時にビデオ信号のブロックに含まれた基底成分のそれぞれの大きさを求めた後、量子化してジグザグスキャンを行う。このような離散コサイン変換を行うビデオ信号は、入力されたビデオ信号又はレジデュアル信号である。離散コサイン変換は、２次元変換方法を用い、まず、列方向に変換を行い、行方向への変換を行う。

【0175】

その一方、各方向への変換前に、係数の値が少ないブロックが直流（ＤＣ）成分に集まるように誘導し、圧縮率をより向上させることができる。したがって、本発明の第１０の実施例は、各ブロックのレジデュアル値及び係数を考慮し、各方向への変換前にブロックを再配列することをさらに含むことによって、一般的な離散コサイン変換を行う場合よりも離散コサイン変換係数が直流成分の近くに集まるように誘導し、圧縮率を向上させることができる。以下では、再配列を行う各ブロックがレジデュアル信号である場合について説明する。

【0176】

図２５を参照すれば、本発明の第１０の実施例に係る離散コサイン再配列変換は、列方向及び行方向への変換段階前に第１の再配列段階及び第２の再配列段階を含む。前記第１の再配列段階は、列方向で各ブロックのレジデュアル値を比較し、左側に小さい値を有するブロックを配列し、前記再配列順序を示す第１の再配列情報を生成する。その後、列方向への離散コサイン変換を行う。第２の再配列段階は、列方向に離散コサイン変換が行われたレジデュアル値を基準にして行方向で上側に小さい値を有するブロックを再配列し、前記再配列順序を示す第２の再配列情報を生成することによって行われる。本発明の実施例では、各ブロックのレジデュアル値を比較して再配列する方法について説明したが、これに限定されることはない。

【0177】

このように、離散コサイン変換前に列又は行で少ないレジデュアル値を有するブロックが左側又は上側に位置するように各レジデュアル信号を再配列し、離散コサイン変換を行う場合、各離散コサイン変換係数が左側（直流成分に近く）に集まって分布するようになるので、より高い圧縮効果を得ることができる。

【0178】

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムで製作され、コンピュータ可読記録媒体に格納されることが可能であり、本発明に係るデータ構造を有するマルチメディアデータもコンピュータ可読記録媒体に格納されることが可能である。前記コンピュータ可読記録媒体は、コンピュータシステムによって読まれるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ―ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、キャリアウェーブ（例えば、インターネットを通した伝送）の形態で具現されるものも含む。また、前記エンコーディング方法によって生成されたビットストリームは、コンピュータ可読記録媒体に格納されたり、有無線通信網を用いて伝送される。

【0179】

以上のように、本発明は、限定された実施例と図面によって説明されたが、これによって限定されることはなく、本発明の属する技術分野で通常の知識を有する者によって本発明の技術思想と下記に記載される特許請求の範囲の均等範囲内で多様な修正及び変形が可能であることは当然である。

【産業上の利用可能性】

【0180】

本発明は、ビデオをエンコーディング及びデコーディングするのに適用される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図8H】

【図8I】

【図8J】

【図8K】

【図8L】

【図8M】

【図8N】

【図8O】

【図8P】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図12C】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23A】

【図23B】

【図24】

【図25】