特許 5756106 動きベクトルを符号化／復号化する方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5756106

(24)【登録日】2015年6月5日

(45)【発行日】2015年7月29日

(54)【発明の名称】動きベクトルを符号化／復号化する方法及びその装置

(51)【国際特許分類】

   H04N 19/105 20140101AFI20150709BHJP

   H04N 19/119 20140101ALI20150709BHJP

   H04N 19/176 20140101ALI20150709BHJP

   H04N 19/52 20140101ALI20150709BHJP

   H04N 19/96 20140101ALI20150709BHJP

【ＦＩ】

   H04N19/105

   H04N19/119

   H04N19/176

   H04N19/52

   H04N19/96

【請求項の数】3

【全頁数】25

(21)【出願番号】特願2012-524655(P2012-524655)

(86)(22)【出願日】2010年8月13日

(65)【公表番号】特表2013-502141(P2013-502141A)

(43)【公表日】2013年1月17日

(86)【国際出願番号】KR2010005365

(87)【国際公開番号】WO2011019247

(87)【国際公開日】20110217

【審査請求日】2013年8月9日

(31)【優先権主張番号】10-2009-0074896

(32)【優先日】2009年8月13日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(72)【発明者】

【氏名】リー，タミー

(72)【発明者】

【氏名】ハン，ウ−ジン

(72)【発明者】

【氏名】リー，キョ−ヒョク

【審査官】 久保 光宏

(56)【参考文献】

【文献】 特表２００８−５３５４２４（ＪＰ，Ａ）

【文献】 特開２００８−４８２８９（ＪＰ，Ａ）

【文献】 特開平１１−１１２９９４（ＪＰ，Ａ）

【文献】 特表２００５−５１０９８５（ＪＰ，Ａ）

【文献】 国際公開第２００５／０２７４９６（ＷＯ，Ａ２）

【文献】 特開２００７−３２９５２８（ＪＰ，Ａ）

【文献】 国際公開第２００９／０５２７４２（ＷＯ，Ａ１）

【文献】 特表２０１１−５０１５４２（ＪＰ，Ａ）

【文献】 Chen, P., et.al.，"Video Coding Using Extended Block Sizes"，[online]，ITU - Telecommunications Standardization Sector ST，２００８年１０月１５日，Document: VCEG-AJ23，[平成27年2月2日検索],インターネット，ＵＲＬ，http://wftp3.itu.int/av-arch/video-site/0810_San/VCEG-AJ23.zip

【文献】 "ITU-T Recommendation H.264 (03/2005)"，[online]，ITU-T，２００５年 ３月，第7.3.4，7.3.5，7.3.5.3，7.4.5.3節，[平成24年2月6日検索]，インターネット，ＵＲＬ，http://www.itu.int/rec/dologin_pub.asp?lang=e&id=T-REC-H.264-200503-S!!PDF-E&type=items

【文献】 "ITU-T Recommendation H.263(02/98)"，[online], ITU-T，１９９８年 ２月，第6.1.1節，第F.2節，第O.5.1節，[平成24年1月24日検索], インターネット，ＵＲＬ，http://www.itu.int/rec/dologin_pub.asp?lang=e&id=T-REC-H.263-199802-S!!PDF-E&type=items

【文献】 Jaeil Kim, et.al.，"Enlarging MB size for high fidelity video coding beyond HD"，［online］，ITU - Telecommunications Standardization Sector ST，２００８年１０月，Document: VCEG-AJ21，［平成26年4月30日検索］，インターネット，ＵＲＬ，http://wftp3.itu.int/av-arch/video-site/0810_San/VCEG-AJ21.zip

【文献】 Huipin Zhang, et.al.，"REGION-BASED CODING OF MOTION FIELDS FOR LOW-BITRATE VIDEO COMPRESSION"，Proceedings of the 2004 Int. Conf. on Image Processing (ICIP 2004)，２００４年１０月，Vol.2，p.1117-1120，ISBN:0-7803-8554-3

【文献】 Joel Jung, et.al.，"Competition-Based Scheme for Motion Vector Selection and Coding"，［online］，ITU - Telecommunications Standardization SectorSTUDY GROUP 16 Question 6 Video Coding Experts Group (VCEG)，２００６年 ７月，Document: VCEG-AC06，［平成26年4月28日検索］，インターネット，ＵＲＬ，http://wftp3.itu.int/av-arch/video-site/0607_Kla/VCEG-AC06.doc

【文献】 Kamp, S., et.al.，"FAST DECODER SIDE MOTION VECTOR DERIVATION FOR INTER FRAME VIDEO CODING"，Proceedings of the Picture Coding Symposium 2009 (PCS 2009)，２００９年 ５月，p.1-4，ISBN:978-1-4244-4593-6

【文献】 "wftp3.itu.int - /av-arch/video-site/0607_Kla/"，［online］，［平成26年4月28日検索］，インターネット，ＵＲＬ，http://wftp3.itu.int/av-arch/video-site/0607_Kla/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８，

ＣＳＤＢ（日本国特許庁），

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

動きベクトルの符号化装置において、
現在ブロックの周辺ブロックの動きベクトルから予測動きベクトル候補を生成し、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを決定する予測部と、
前記予測動きベクトル候補のうち決定された前記現在ブロックの予測動きベクトルについての情報を符号化する第１符号化部と、
前記現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差ベクトルを符号化する第２符号化部と、を含み、
前記周辺ブロックは、前記現在ブロックの左下側に位置した第１ブロックと、前記第１ブロックの上側に位置した第２ブロックと、前記現在ブロックの右上側に位置した第３ブロックと、前記第３ブロックの左側に位置した第４ブロック、及び前記現在ブロックの左上側に位置した第５ブロックを含み、
映像は、最大符号化単位サイズ情報によって複数の最大符号化単位で分割され、最大符号化単位は深度を有する一つ以上の符号化単位で階層的に分割され、現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、前記現在深度の符号化単位から少なくとも一つの予測単位が獲得され、
前記現在ブロックは前記少なくとも一つの予測単位のうち一つであることを特徴とする動きベクトル符号化装置。

【請求項2】

動きベクトルの復号化を行う復号化手段を有する復号化装置における動きベクトルの復号化方法において、
ビットストリームから現在ブロックの予測モード情報を前記復号化手段が獲得する段階と、
前記現在ブロックの予測モードがインター予測モードの場合、前記現在ブロックの周辺ブロックの動きベクトルから予測動きベクトル候補を前記復号化手段が獲得する段階と、
前記現在ブロックに利用された予測動きベクトルに対する情報に基づき、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを前記復号化手段が決定する段階と、
前記予測動きベクトルと前記ビットストリームから獲得された差ベクトルに基づき、前記現在ブロックの動きベクトルを前記復号化手段が獲得する段階を含み、
前記周辺ブロックは、前記現在ブロックの左下側に位置した第１ブロックと、前記第１ブロックの上側に位置した第２ブロックと、前記現在ブロックの右上側に位置した第３ブロックと、前記第３ブロックの左側に位置した第４ブロック、及び前記現在ブロックの左上側に位置した第５ブロックを含み、
映像は、最大符号化単位サイズ情報によって複数の最大符号化単位で分割され、最大符号化単位は深度を有する一つ以上の符号化単位で階層的に分割され、現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、前記現在深度の符号化単位から少なくとも一つの予測単位が獲得され、
前記現在ブロックは前記少なくとも一つの予測単位のうち一つであることを特徴とする動きベクトル復号化方法。

【請求項3】

動きベクトルの復号化装置において、
ビットストリームから現在ブロックの予測モード情報を獲得し、前記現在ブロックの予測モードがインター予測モードの時、前記現在ブロックの周辺ブロックの動きベクトルから予測動きベクトル候補を獲得する復号化部と、
前記現在ブロックに用いられた予測動きベクトルに対する情報に基づいて、前記予測動きベクトル候補のうち前記現在ブロックの予測動きベクトルを決定する予測部と、
前記予測動きベクトルと前記ビットストリームから獲得された差ベクトルに基づいて、前記現在ブロックの動きベクトルを獲得する動きベクトル復元部とを備え、
前記周辺ブロックは、前記現在ブロックの左下側に位置した第１ブロックと、前記第１ブロックの上側に位置した第２ブロックと、前記現在ブロックの右上側に位置した第３ブロックと、前記第３ブロックの左側に位置した第４ブロック、及び前記現在ブロックの左上側に位置した第５ブロックを含み、
映像は、最大符号化単位サイズ情報によって複数の最大符号化単位で分割され、最大符号化単位は深度を有する一つ以上の符号化単位で階層的に分割され、現在深度の符号化単位は上位深度の符号化単位から分割された正方形のデータ単位のうち一つであり、前記現在深度の符号化単位から少なくとも一つの予測単位が獲得され、
前記現在ブロックは前記少なくとも一つの予測単位のうち一つであるとを含む動きベクトル復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動きベクトル符号化方法及びその装置に係り、さらに詳細には、現在ブロックの予測動きベクトルを符号化する方法及びその装置に関する。

【背景技術】

【0002】

ＭＰＥＧ（moving picture experts group）−４Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（advanced video coding）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを利用する。現在ブロックの左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値（median）を現在ブロックの予測動きベクトル（motion vector predictor）として利用する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする技術的課題は、動きベクトルを符号化／復号化する方法及びその装置を提供するところにあり、前記方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

【課題を解決するための手段】

【0004】

本発明の一実施形態による動きベクトルを符号化する方法は、少なくとも１つの予測動きベクトルのうち１つの予測動きベクトルを指示する情報を符号化する第１モード、及び現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、予測動きベクトルを生成することを指示する情報を符号化する第２モードのうち一つを選択する段階；前記選択されたモードによって、現在ブロックの予測動きベクトルを決定し、前記現在ブロックの予測動きベクトルについての情報を符号化する段階；及び現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差ベクトルを符号化する段階；を含む。

【0005】

本発明の他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、現在ピクチャまたは現在スライスの最大符号化単位のサイズから現在ブロックのサイズに、段階的に縮小された程度を示す深度（depth）に基づいて、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

【0006】

本発明のさらに他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、前記現在ブロックを含む現在ピクチャまたは現在スライス単位で、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

【0007】

本発明のさらに他の実施形態によれば、前記第１モード及び第２モードのうち一つを選択する段階は、現在ブロックがスキップモードで符号化されているか否かに基づいて、前記第１モード及び前記第２モードのうち一つを選択する段階を含む。

【0008】

本発明のさらに他の実施形態によれば、前記少なくとも１つの予測動きベクトルは、現在ブロックの左側に隣接したブロックの第１動きベクトル、上部に隣接したブロックの第２動きベクトル及び右側上部に隣接したブロックの第３動きベクトルを含む。

【0009】

本発明のさらに他の実施形態によれば、前記少なくとも１つの予測動きベクトルは、前記第１動きベクトル、前記第２動きベクトル及び前記第３動きベクトルの中央値をさらに含む。

【0010】

本発明のさらに他の実施形態によれば、前記少なくとも１つの予測動きベクトルは、参照ピクチャの前記現在ブロックと同じ位置（colocated）のブロックの動きベクトル、及び前記参照ピクチャと前記現在ピクチャとのの時間的距離に基づいて生成された予測動きベクトルをさらに含む。

【0011】

本発明のさらに他の実施形態によれば、前記現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、現在ブロックの予測動きベクトルを生成することを指示する情報は、現在ブロックの左側に隣接したブロックの第１動きベクトル、上部に隣接したブロックの第２動きベクトル及び右側上部に隣接したブロックの第３動きベクトルの中央値に基づいて、現在ブロックの予測動きベクトルを生成することを指示する情報であることを特徴とする。

【0012】

本発明のさらに他の実施形態によれば、前記現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、現在ブロックの予測動きベクトルを生成することを指示する情報は、現在ブロックに隣接した以前に符号化された領域に含まれているピクセルを利用して参照ピクチャを検索して生成された動きベクトルに基づいて、現在ブロックの予測動きベクトルを生成することを指示する情報であることを特徴とする。

【0013】

前記技術的課題を解決するための本発明の一実施形態による、動きベクトルを符号化する装置は、少なくとも１つの予測動きベクトルのうち１つの予測動きベクトルを指示する情報を符号化する第１モード、及び現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、予測動きベクトルを生成することを指示する情報を符号化する第２モードのうち一つを選択し、前記選択されたモードに基づいて、現在ブロックの予測動きベクトルを決定する予測部；前記選択されたモードに基づいて、前記決定された現在ブロックの予測動きベクトルについての情報を符号化する第１符号化部；及び現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差ベクトルを符号化する第２符号化部；を含む。

【0014】

前記技術的課題を解決するための本発明の一実施形態による動きベクトルを復号化する方法は、第１モード及び第２モードのうち選択された１つのモードによって符号化された現在ブロックの予測動きベクトルについての情報を復号化する段階；現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差ベクトルを復号化する段階；前記復号化された現在ブロックの予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する段階；及び前記予測動きベクトル及び前記差ベクトルに基づいて、現在ブロックの動きベクトルを復元する段階；を含み、前記第１モードは、少なくとも１つの予測動きベクトルのうち１つの予測動きベクトルを指示する情報を符号化するモードであり、前記第２モードは、現在ブロックに隣接した以前に復号化された領域に含まれたブロックまたはピクセルに基づいて、予測動きベクトルを生成することを指示する情報を符号化するモードであることを特徴とする。

【0015】

前記技術的課題を解決するための本発明の一実施形態による動きベクトルを復号化する装置は、第１モード及び第２モードのうち選択された１つのモードによって符号化された現在ブロックの予測動きベクトルについての情報を復号化する第１復号化部；現在ブロックの動きベクトルと、前記現在ブロックの予測動きベクトルとの差ベクトルを復号化する第２復号化部；前記復号化された現在ブロックの予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する予測部；及び前記予測動きベクトル及び前記差ベクトルに基づいて、現在ブロックの動きベクトルを復元する動きベクトル復元部；を含み、前記第１モードは、少なくとも１つの予測動きベクトルのうち、現在ブロックの予測動きベクトルとして利用された１つの予測動きベクトルを指示する情報を符号化するモードであり、前記第２モードは、現在ブロックに隣接した以前に復号化された領域に含まれたブロックまたはピクセルに基づいて、現在ブロックの予測動きベクトルを生成することを指示する情報を符号化するモードであることを特徴とする。

【0016】

前記技術的課題を解決するために本発明の一実施形態は、前述の動きベクトルの符号化／復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

【発明の効果】

【0017】

本発明によれば、動きベクトルは、さらに正確な動きベクトル予測子に基づいて、効率的に符号化される。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態による映像符号化装置を図示する図である。

【図2】本発明の一実施形態による映像復号化装置を図示する図である。

【図3】本発明の一実施形態による階層的符号化単位を図示する図である。

【図4】本発明の一実施形態による符号化単位に基づいた映像符号化部を図示する図である。

【図5】本発明の一実施形態による符号化単位に基づいた映像復号化部を図示する図である。

【図6】本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示する図である。

【図7】本発明の一実施形態による、符号化単位及び変換単位を図示する図である。

【図8A】本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図である。

【図8B】本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示する図である。

【図9】本発明の一実施形態による動きベクトルを符号化する装置を図示する図である。

【図10A】本発明の一実施形態による明示モードの予測動きベクトル候補を図示する図である。

【図10B】本発明の一実施形態による明示モードの予測動きベクトル候補を図示する図である。

【図11A】本発明の他の実施形態による明示モードの予測動きベクトル候補を図示する図である。

【図11B】本発明の他の実施形態による明示モードの予測動きベクトル候補を図示する図である。

【図11C】本発明の他の実施形態による明示モードの予測動きベクトル候補を図示する図である。

【図12】本発明の一実施形態による暗示モードの予測動きベクトルを生成する方法を図示する図である。

【図13】本発明の一実施形態による動きベクトルを復号化する装置を図示する図である。

【図14】本発明の一実施形態による動きベクトルを符号化する方法について説明するためのフローチャートである。

【図15】本発明の一実施形態による動きベクトルを復号化する方法について説明するためのフローチャートである。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。「少なくとも１つの」という表現が構成要素リストに先行する場合、かような表現は、全体構成要素リストを変更するものであり、リストの個別構成要素を変更するものではない。本明細書で「映像」は、ビデオまたは動映像を示したり、あるいはビデオ自体でありうる。

【0020】

図１は、本発明の一実施形態による映像符号化装置を図示している。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。

【0021】

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割することができる。現在ピクチャまたは現在スライスを、少なくとも１つの最大符号化単位に分割することができる。

【0022】

本発明の一実施形態によれば、最大符号化単位及び深度（depth）を利用し、符号化単位が表現される。前述のように、最大符号化単位は、現在ピクチャの符号化単位のうち、最大サイズである符号化単位を示し、深度は、符号化単位が階層的に縮小されたサブ符号化単位のサイズを示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深度は、最小深度に定義され、最小符号化単位の深度は、最大深度に定義される。最大符号化単位は、深度が大きくなるにつれて、深度別符号化単位のサイズは縮小するので、ｋ深度のサブ符号化単位は、複数個のｋより大きい深度のサブ符号化単位を含んでもよい。

【0023】

符号化されるピクチャのサイズが大きくなるにつれて、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化することができる。しかし、符号化単位を大きくし、そのサイズを固定させてしまえば、変わり続ける映像の特性を反映して効率的に映像を符号化することができない。

【0024】

例えば、海または空に係わる平坦な領域を符号化するときには、符号化単位を大きくするほど圧縮率が向上しうるが、人またはビルディングに係わる複雑な領域を符号化するときには、符号化単位を小さくするほど圧縮率が向上する。

【0025】

このために、本発明の一実施形態は、ピクチャまたはスライスごとに異なる最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小される最大回数を意味するので、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。

【0026】

符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト（rate-distortion cost）計算に基づいて決定される。最大深度は、ピクチャまたはスライスごとに異なって決定されるか、あるいはそれぞれの最大符号化単位ごとに異なって決定されもする。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。

【0027】

最大深度は、最大符号化単位に含まれる最小サイズの符号化単位、すなわち、最小符号化単位を意味する。言い換えれば、最大符号化単位は、異なる深度によって、異なるサイズのサブ符号化単位に分割されてもよい。これについては、図８Ａ及び図８Ｂを参照しつつ詳細に述べる。また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基づいて、予測または変換される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて、遂行することができる。映像データの符号化のためには、予測、変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にわたって同じサイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。

【0028】

例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。

【0029】

符号化単位のサイズが、２Ｎｘ２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでありうる。言い換えれば、符号化単位の高さまたは幅のうち、少なくとも一つを半分にする形態の処理単位を基にして、動き予測が行われてもよい。以下、予測の基礎になるデータ単位を「予測単位」とする。

【0030】

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであって、特定予測モードは、特定サイズまたは形態の予測単位についてのみ遂行される。例えば、イントラモードは、正方形である２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位についてのみ遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズの予測単位についてのみ遂行される。符号化単位内部に複数の予測単位があるならば、それぞれの予測単位について予測を行い、符号化誤差が最小である予測モードが選択されてもよい。

【0031】

また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基づいて、映像データを周波数変換することができる。符号化単位の周波数変換のために、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基にして、周波数変換が行われてもよい。以下、周波数変換の基になる処理単位を「変換単位」とする。周波数変換は、ＤＣＴ（discrete cosine transform）またはＫＬＴ（Karhunen-Loeve transform）であってもよい。

【0032】

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率−歪曲最適化技法（rate-distortion optimization）を利用し、最大符号化単位に含まれたサブ符号化単位を決定することができる。言い換えれば、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるか決定することができるが、ここで、複数のサブ符号化単位は、深度によってサイズが異なる。その後、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

【0033】

符号化情報符号化部１４０は、符号化深度決定部１２０で決定された最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報、及び深度別サブ符号化単位の符号化モードについての情報を符号化し、ビットストリームを出力する。サブ符号化単位の符号化モードについての情報は、サブ符号化単位の予測単位についての情報、予測単位別予測モード情報、サブ符号化単位の変換単位についての情報などを含んでもよい。

【0034】

最大符号化単位ごとに異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに、符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。

【0035】

映像符号化装置１００は、深度が大きくなるにつれて、最大符号化単位を、高さ及び幅を半分にしてサブ符号化単位を生成することができる。すなわち、ｋ深度の符号化単位のサイズが２Ｎｘ２Ｎであるならば、ｋ＋１深度の符号化単位のサイズは、ＮｘＮである。

【0036】

従って、一実施形態による映像復号化装置１００は、映像の特性を考慮した最大符号化単位のサイズ及び最大深度を基にして、それぞれの最大符号化単位ごとに、最適の分割形態を決定することができる。映像特性を考慮して、可変的に最大符号化単位のサイズを調節し、異なる深度のサブ符号化単位に最大符号化単位を分割して映像を符号化することによって、多様な解像度の映像を、さらに効率的に符号化することができる。

【0037】

図２は、本発明の一実施形態による映像復号化装置を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。

【0038】

映像データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位についての情報を抽出することができる。言い換えれば、ビットストリームを最大符号化単位で分割し、映像データ復号化部２３０をして、最大符号化単位ごとに映像データを復号化させる。

【0039】

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。

【0040】

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含むことができ、符号化モードについての情報は、サブ符号化単位別予測単位についての情報、予測モードについての情報、及び変換単位についての情報などを含んでもよい。

【0041】

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び逆変換過程を含んでもよい。

【0042】

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位についての情報、及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行うことができる。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに逆変換を行うことができる。

【0043】

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８及び４ｘ４を含んでもよい。正四角形状の符号化単位以外にも、幅ｘ高さが、６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４、４ｘ８である符号化単位が存在してもよい。

【0044】

図３を参照すれば、解像度が１９２０ｘ１０８０である映像データ３１０について、最大符号化単位のサイズは６４ｘ６４、最大深度は２に設定されている。

【0045】

解像度が１９２０ｘ１０８０である他の映像データ３２０について、最大符号化単位のサイズは６４ｘ６４、最大深度は３に設定されている。解像度が３５２ｘ２８８であるビデオデータ３３０について、最大符号化単位のサイズは１６ｘ１６、最大深度は１に設定されている。

【0046】

解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、映像データ３３０に比べて、解像度の高い映像データ３１０，３２０は、最大符号化単位のサイズが６４ｘ６４に選択されてもよい。

【0047】

最大深度は、階層的符号化単位での総階層数を示す。映像データ３１０の最大深度が２であるから、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２，１６であるサブ符号化単位まで含んでもよい。

【0048】

一方、映像データ３３０の最大深度が１であるから、映像データ３３０の符号化単位３３５は、長軸サイズが１６である最大符号化単位から、深度が増加するにつれて、長軸サイズが８である符号化単位まで含んでもよい。

【0049】

映像データ３２０の最大深度は、３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２，１６，８であるサブ符号化単位まで含んでもよい。深度が増加するほど、さらに小さなサブ符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適することになる。

【0050】

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を図示している。

【0051】

イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位について、イントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用してインター予測及び動き補償を行う。

【0052】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて、残存値（residual value）が生成され、生成された残存値は、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。

【0053】

量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、さらに残存値に復元され、復元された残存値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。

【0054】

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像符号化過程を処理する。

【0055】

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を図示している。

【0056】

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て残存値に復元される。残存値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。

【0057】

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて、映像復号化過程を処理する。

【0058】

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮して、サブ符号化単位内の予測単位及び予測モードを決定し、逆変換部５４０は、変換単位のサイズを考慮して逆変換を行う。

【0059】

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示している。

【0060】

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化、復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されたり、ユーザの要求によって多様に設定されてもよい。

【0061】

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を図示している。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によって、サブ符号化単位６２０ないし６５０の高さ及び幅が縮小される。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

【0062】

最大符号化単位６１０は、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が増加し、サイズ３２ｘ３２である深度１のサブ符号化単位６２０、サイズ１６ｘ１６である深度２のサブ符号化単位６３０、サイズ８ｘ８である深度３のサブ符号化単位６４０、サイズ４ｘ４である深度４のサブ符号化単位６５０が存在する。サイズ４ｘ４である深度４のサブ符号化単位６５０は、最小符号化単位である。

【0063】

図６を参照すれば、それぞれの深度別に、横軸に沿って予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０と同一であるか、あるいはそれより小さいサイズであるサイズ６４ｘ６４の予測単位６１０、サイズ６４ｘ３２の予測単位６１２、サイズ３２ｘ６４の予測単位６１４、サイズ３２ｘ３２の予測単位６１６であってもよい。

【0064】

深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０と同一であるか、あるいはそれより小さいサイズであるサイズ３２ｘ３２の予測単位６２０、サイズ３２ｘ１６の予測単位６２２、サイズ１６ｘ３２の予測単位６２４、サイズ１６ｘ１６の予測単位６２６であってもよい。

【0065】

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０と同一であるか、あるいはそれより小さいサイズであるサイズ１６ｘ１６の予測単位６３０、サイズ１６ｘ８の予測単位６３２、サイズ８ｘ１６の予測単位６３４、サイズ８ｘ８の予測単位６３６であってもよい。

【0066】

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０と同一であるか、あるいはそれより小さいサイズであるサイズ８ｘ８の予測単位６４０、サイズ８ｘ４の予測単位６４２、サイズ４ｘ８の予測単位６４４、サイズ４ｘ４の予測単位６４６であってもよい。

【0067】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最大深度の符号化単位であり、予測単位は、サイズ４ｘ４の予測単位６５０である。

【0068】

図７は、本発明の一実施形態による、符号化単位及び変換単位を図示している。

【0069】

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位そのまま符号化したり、最大符号化単位より小さいか、あるいはそれと同じサブ符号化単位で、最大符号化単位を分割して符号化する。

【0070】

符号化過程において、周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくない変換単位に選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズである、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

【0071】

図８Ａ及び図８Ｂは、本発明の一実施形態による、符号化単位、予測単位及び変換単位の分割形態を図示している。

【0072】

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を図示している。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を図示している。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割し、符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較し、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化することが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せずに、最大符号化単位８１０を符号化することもできる。

【0073】

図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を４個の深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位をさらに深度２のサブ符号化単位に分割する。

【0074】

深度１のサブ符号化単位のうち、右側上部に位置したサブ符号化単位及び左側下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、さらに深度３以上のサブ符号化単位に分割されてもよい。

【0075】

図８Ｂの右側は、最大符号化単位８１０に係わる予測単位の分割形態を図示している。

【0076】

図８Ａの右側を参照すれば、最大符号化単位に係わる予測単位８６０は、最大符号化単位８１０と異なって分割される。言い換えれば、サブ符号化単位それぞれに係わる予測単位は、サブ符号化単位より小さくともよい。

【0077】

例えば、深度１のサブ符号化単位のうち、右側下部に位置したサブ符号化単位８５４に係わる予測単位は、サブ符号化単位８５４より小さくともよい。深度２のサブ符号化単位８１４，８１６，８１８，８２８，８５０，８５２のうち、一部サブ符号化単位８１５，８１６，８５０，８５２に係わる予測単位は、サブ符号化単位より小さくともよい。また、深度３のサブ符号化単位８２２，８３２，８４８に係わる予測単位は、サブ符号化単位より小さくともよい。予測単位は、それぞれのサブ符号化単位を高さ方向または幅方向に半分にした形態であり、高さ方向及び幅方向に４分した形態でもある。

【0078】

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を図示している。図８Ｂの左側は、図８Ａの右側に図示された最大符号化単位８１０に係わる予測単位の分割形態を図示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を図示している。

【0079】

図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

【0080】

例えば、深度１の符号化単位８５４に係わる予測単位が高さを半分にした形態に選択されたとしても、変換単位は、深度１の符号化単位８５４のサイズと同じサイズに選択されてもよい。同様に、深度２の符号化単位８１４，８５０に係わる予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態に選択されても、変換単位は、深度２の符号化単位８１４，８５０の本来のサイズと同じサイズに選択されてもよい。

【0081】

予測単位よりさらに小さいサイズに変換単位が選択されもする。例えば、深度２の符号化単位８５２に係わる予測単位が、幅を半分にした形態に選択された場合、変換単位は、予測単位よりさらに小さいサイズの高さ及び幅を半分にした形態に選択されてもよい。

【0082】

図９は、本発明の一実施形態による動きベクトルを符号化する装置を図示している。

【0083】

図１と関連して述べた映像符号化装置１００、または図４と関連して述べた映像符号化部４００に含まれて動きベクトルを符号化する装置を詳細に図示している。図９を参照すれば、本発明の一実施形態による動きベクトル符号化装置９００は、予測部９１０、第１符号化部９２０及び第２符号化部９３０を含む。

【0084】

インター予測、すなわち、ピクチャ間予測を利用して符号化されたブロックを復号化するためには、現在ブロックと、参照ピクチャ内の類似したブロックとの位置差を示す動きベクトルについての情報が必要である。従って、映像符号化時に、動きベクトルについての情報を符号化し、ビットストリームに挿入するが、動きベクトルについての情報をそのまま符号化して挿入すれば、動きベクトルについての情報を符号化するためのオーバーヘッド（overhead）が増加し、映像データの圧縮率が低くなる。

【0085】

従って、映像符号化では、現在ブロックの動きベクトルを予測し、予測の結果として生成された予測動きベクトル（motion vector predictor）と原本動きベクトルとの差分ベクトルだけを符号化してビットストリームに挿入することにより、動きベクトルについての情報も圧縮する。図９は、かような予測動きベクトルを利用した動きベクトルを符号化する装置を図示している。

【0086】

図９を参照すれば、予測部９１０は、現在ブロックの予測動きベクトルが、明示モード（explicit mode）及び暗示モード（implicit mode）のうちいずれのモードに基づいて、予測符号化されるか決定する。

【0087】

前述のように、ＭＰＥＧ（moving picture experts group）−４Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを利用する。現在ブロックの左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値（median value）を現在ブロックの予測動きベクトルとして利用する。インター予測を利用して符号化されたあらゆるブロックの動きベクトルが、同じ方法を利用して予測されるために、予測動きベクトルについての情報は、別途に符号化する必要がない。しかし、本願発明による映像符号化装置１００または映像符号化部４００は、動きベクトルをさらに正確に予測するために、前述の予測動きベクトルについての情報を別途に符号化しないモード、及び予測動きベクトルについての情報を符号化するモードをいずれも利用するが、これについて詳細に後述する。

【0088】

（１）明示モード
予測部９１０が選択することができる予測動きベクトルを符号化する方法のうち一つは、現在ブロックの予測動きベクトルについての情報を明示的に符号化するモードであってもよい。このモードは、少なくとも１つの予測動きベクトル候補を計算し、それらのうちいずれかの予測動きベクトルを利用して現在ブロックの動きベクトルを予測するか指示する情報を別途に符号化するモードである。図１０Ａ、図１０Ｂ、図１１Ａないし図１１Ｃを参照しつつ、本願発明の予測動きベクトル候補について説明する。

【0089】

図１０Ａ及び図１０Ｂは、本発明の一実施形態による明示モードの予測動きベクトル候補を図示している。

【0090】

図１０Ａを参照すれば、本発明の一実施形態による動きベクトル予測方法は、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルのうち一つを、現在ブロックの予測動きベクトルとして利用することができる。現在ブロックの上部に隣接したブロックのうち、最も左側のａ_０ブロック、左側に隣接した最も上部のｂ_０ブロック、右側上部に隣接したｃブロック、左側上部に隣接したｄブロック、及び右側下部に隣接したｅブロックいずれも、現在ブロックの予測動きベクトルとして利用することができる。

【0091】

図１０Ｂを参照すれば、現在ブロックの隣接したあらゆるブロックの動きベクトルを、現在ブロックの予測動きベクトルとして利用することができる。言い換えれば、上部に隣接したブロックのうち、最も左側のａ_０ブロックだけではなく、上部に隣接したあらゆるブロックの動きベクトルを現在ブロックの予測動きベクトルとして利用することができれ、左側に隣接したブロックのうち、最も上部のｂ_０ブロックだけではなく、左側に隣接したあらゆるブロックの動きベクトルを、現在ブロックの予測動きベクトルとして利用することができる。

【0092】

また、隣接したブロックの動きベクトルの中央値を、予測動きベクトルとして利用することができる。言い換えれば、ｍｅｄｉａｎ（ｍｖ＿ａ０，ｍｖ＿ｂ０，ｍｖ＿ｃ）を現在ブロックの予測動きベクトルとして利用することができる。ここで、ｍｖ＿ａ０は、ａ_０ブロックの動きベクトルであり、ｍｖ＿ｂ０は、ｂ_０ブロックの動きベクトルであり、ｍｖ＿ｃは、ｃブロックの動きベクトルである。

【0093】

図１１Ａないし図１１Ｃは、本発明の他の実施形態による明示モードの予測動きベクトル候補を図示している。

【0094】

図１１Ａは、本発明の一実施形態によるＢピクチャ（bi-directional predictive picture）の予測動きベクトルを計算する方法を図示している。現在ブロックを含む現在ピクチャが、双方向予測を行うＢピクチャである場合、時間的距離（temporal distance）に基づいて生成された動きベクトルが、予測動きベクトル候補であってもよい。

【0095】

現在ピクチャ１１１０の現在ブロック１１００の予測動きベクトルは、時間的に先行するピクチャ１１１２の同じ位置の（colocated）ブロック１１２０の動きベクトルを利用して生成されもする。例えば、現在ブロック１１００と同じ位置のブロック１１２０の動きベクトルｍｖ＿ｃｏｌＡが、現在ピクチャ１１１０の時間的に後行するピクチャ１１１４の検索されたブロック１１２２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ａ及びｍｖ＿Ｌ１Ａは、次の通り生成される。

【0096】

ｍｖ＿Ｌ１Ａ＝（ｔ_１／ｔ_２）Χｍｖ＿ｃｏｌＡ
ｍｖ＿Ｌ０Ａ＝ｍｖ＿Ｌ１Ａ−ｍｖ＿ｃｏｌＡ
ここで、ｍｖ＿Ｌ０Ａは、時間的に先行するピクチャ１１１２に係わる現在ブロック１１１０の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ａは、時間的に後行するピクチャ１１１４に係わる現在ブロック１１１０の予測動きベクトルを意味する。

【0097】

図１１Ｂは、本発明の他の実施形態によるＢピクチャの予測動きベクトルを生成する方法を図示している。図１１Ａに図示された方法と比較すれば、時間的に後行するピクチャ１１１４に、現在ブロック１１００と同じ位置のブロックが存在するという点が異なる。

【0098】

図１１Ｂを参照すれば、現在ピクチャ１１１０の現在ブロック１１００の予測動きベクトルは、時間的に後行するピクチャ１１１４の同じ位置のブロック１１３０の動きベクトルを利用して生成されもする。例えば、現在ブロック１１００と同じ位置のブロック１１３０の動きベクトルｍｖ＿ｃｏｌＢが、現在ピクチャ１１１０の時間的に先行するピクチャ１１１２の検索されたブロック１１３２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｂ及びｍｖ＿Ｌ１Ｂは、次の通り生成される。

【0099】

ｍｖ＿Ｌ０Ｂ＝（ｔ_３／ｔ_４）Χｍｖ＿ｃｏｌＢ
ｍｖ＿Ｌ１Ｂ＝ｍｖ＿Ｌ０Ｂ−ｍｖ＿ｃｏｌＢ
ここで、ｍｖ＿Ｌ０Ｂは、時間的に先行するピクチャ１１１２に係わる現在ブロック１１１０の予測動きベクトルを意味し、ｍｖ＿Ｌ１Ａは、時間的に後行するピクチャ１１１４に係わる現在ブロック１１００の予測動きベクトルを意味する。

【0100】

Ｂピクチャの現在ブロック１１００の予測動きベクトルを生成するにあたり、図１１Ａに図示された方法及び図１１Ｂに図示された方法のうち少なくとも一つを利用することができる。言い換えれば、現在ブロック１１００と同じ位置のブロック１１２０または１１３０の動きベクトルと時間的距離とを利用して、予測動きベクトルを生成するので、同じ位置のブロック１１２０及び１１３０の動きベクトルが必ず存在してこそ、図１１Ａ及び図１１Ｂに図示された方法を利用して、予測動きベクトルを生成することができる。従って、本発明による予測部９１０は、同じ位置のブロック１１２０及び１１３０のうち、当該ブロックに係わる動きベクトルが存在するブロックのみを利用して、現在ブロック１１００の予測動きベクトルを生成する。

【0101】

例えば、時間的に先行するピクチャ１１１２の同じ位置のブロック１１２０が、インター予測ではないイントラ予測を利用して符号化された場合、当該ブロック１１２０の動きベクトルは存在しないので、図１１Ａに図示されているような予測動きベクトルを生成する方法を利用して、現在ブロック１１００の予測動きベクトルを生成することができない。

【0102】

図１１Ｃは、本発明の一実施形態によるＰピクチャ（predictive picture）の予測動きベクトルを生成する方法を図示している。図１１Ｃを参照すれば、現在ピクチャ１１１０の現在ブロック１１００の予測動きベクトルは、時間的に先行するピクチャ１１１２の同じ位置のブロック１１４０の動きベクトルを利用して生成される。例えば、現在ブロック１１００と同じ位置のブロック１１３０の動きベクトルｍｖ＿ｃｏｌＣが、他の時間的に先行するピクチャ１１１６の検索されたブロック１１４２に対して生成されれば、現在ブロック１１００の予測動きベクトル候補であるｍｖ＿Ｌ０Ｃは、次の通り生成されてもよい。

【0103】

ｍｖ＿Ｌ０Ｃ＝（ｔ_６／ｔ_５）Χｍｖ＿ｃｏｌＣ
現在ピクチャ１１１０がＰピクチャであるから、現在ブロック１１００の予測動きベクトル候補は、図１１Ａ及び図１１Ｂとは異なって、一つだけ生成される。

【0104】

総合すれば、図１０Ａ及び図１０Ｂ、図１１Ａないし図１１Ｃによって、次の通り予測動きベクトル候補の集合Ｃは、次の通り生成されてもよい。

【0105】

Ｃ＝｛median（ｍｖ＿ａ_０，ｍｖ＿ｂ_０，ｍｖ＿ｃ），ｍｖ＿ａ_０，ｍｖ＿ａ_１，…，ｍｖ＿ａＮ，ｍｖ＿ｂ_０，ｍｖ＿ｂ_１,…，ｍｖ＿ｂＮ，ｍｖ＿ｃ，ｍｖ＿ｄ，ｍｖ＿ｅ，ｍｖ＿temporal｝
または、予測動きベクトル候補の個数を減らして生成されもする。

【0106】

Ｃ＝｛median（ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’），ｍｖ＿ａ’，ｍｖ＿ｂ’，ｍｖ＿ｃ’，ｍｖ＿temporal｝
ここで、ｍｖ＿ｘは、ｘブロックの動きベクトルを意味し、median（）は、中央値を意味し、ｍｖ＿temporalは、図１１Ａないし図１１Ｃと関連して述べた時間的距離を利用して生成された予測動きベクトル候補を意味する。

【0107】

また、ｍｖ＿ａ’は、ｍｖ＿ａ_０，ｍｖ＿ａ_１，…，ｍｖ＿ａＮのうち有効な最初の動きベクトルを意味する。例えば、ａ_０ブロックがイントラ予測を利用して符号化された場合、ａ_０の動きベクトルであるｍｖ＿ａ_０は、有効ではないので、ｍｖ＿ａ’＝ｍｖ＿ａ_１になり、ａ_１ブロックの動きベクトルも、有効ではない場合には、ｍｖ＿ａ’＝ｍｖ＿ａ_２である。

【0108】

同様に、ｍｖ＿ｂ’は、ｍｖ＿ｂ_０，ｍｖ＿ｂ_１、…，ｍｖ＿ｂＮのうち有効な最初の動きベクトルを意味し、ｍｖ＿ｃ’は、ｍｖ＿ｃ，ｍｖ＿ｄ，ｍｖ＿ｅのうち有効な最初の動きベクトルを意味する。

【0109】

明示モードは、前記Ｃ集合のうち、いかなる動きベクトルを現在ブロックの予測動きベクトルとして利用したか指示する情報を符号化するモードである。例えば、明示モードで動きベクトルを符号化する場合、Ｃ集合の元素、すなわち、予測動きベクトル候補にそれぞれ対応する二進数を割り当て、そのうち一つが現在ブロックの予測動きベクトルとして利用される場合、対応する二進数を出力することができる。

【0110】

明示モードと関連して述べたあらゆる予測動きベクトル候補以外に、他の予測動きベクトル候補が利用可能であるということは、本発明が属する技術分野で当業者は、容易に理解することができるであろう。

【0111】

（２）暗示モード
予測部９１０が選択することができる予測動きベクトルを符号化する方法のうち他の一つは、現在ブロックの予測動きベクトルが、現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報のみ符号化するモードである。このモードは、明示モードとは異なり、予測動きベクトルを特定するための情報を符号化せずに、暗示モードで予測動きベクトルに生成することを指示する情報のみ符号化するモードである。

【0112】

前述のように、ＭＰＥＧ−４
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣのようなコーデックでは、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを利用する。現在ブロックの左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして利用するが、この場合、明示モードのように、予測動きベクトル候補のうち一つを選択するための情報を符号化しなくともよい。

【0113】

言い換えれば、映像符号化過程では、現在ブロックの予測動きベクトルが暗示モードで符号化されたことを指示する情報のみ符号化すれば、映像復号化過程では、現在ブロックの左側、上部及び右側上部に隣接した以前に復号化されたブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして利用することができる。

【0114】

また、本発明による映像符号化方法は、現在ブロックの左側、上部及び右側上部に隣接した以前に符号化されたブロックの動きベクトルの中央値を、予測動きベクトルとして利用する方法以外に、新しい暗示モードを提供する。図１２を参照しつつ、詳細に説明する。

【0115】

図１２は、本発明の一実施形態による暗示モードの予測動きベクトルを生成する方法を図示している。図１２を参照すれば、現在ピクチャ１２１０の現在ブロック１２００の予測動きベクトルを生成するにあたり、現在ブロックに隣接した以前に符号化された領域１２２０に含まれたピクセル１２２２を利用する。隣接したピクセル１２２２を利用して参照ピクチャ１２１２を検索し、対応するピクセル１２２４を決定する。ＳＡＤ（sum of absolute difference）を計算して、対応するピクセル１２２４を決定することができる。対応するピクセル１２２４が決定されれば、隣接したピクセル１２２２の動きベクトルｍｖ＿templateが生成され、ｍｖ＿templateを現在ブロック１２００の予測動きベクトルとして利用することができる。

【0116】

隣接したブロックの動きベクトルの中央値を、予測動きベクトルとして利用するモードをimplicit mode＿１とし、現在ブロックに隣接したピクセル１２２２を利用して、予測動きベクトルを生成するモードをimplicit mode＿２Ｌとするならば、映像符号化過程では、この２種の暗示モードのうち１つのモードについての情報を符号化し、映像復号化過程では、モードについての情報を参照し、implicit mode＿１及びimplicit mode＿２のうち一つを利用して、予測動きベクトルを生成することができる。

【0117】

（３）モードの選択
予測部９１０が、前述の明示モード及び暗示モードのうち一つを選択する基準には、多様な基準であってもよい。

【0118】

明示モードは、複数の予測動きベクトル候補のうち一つを選択するものであるから、現在ブロックの動きベクトルとさらに類似した予測動きベクトルを選択することができる。代わりに、複数の予測動きベクトル候補のうち一つを指示する情報を符号化するために、暗示モードよりさらに大きいオーバーヘッドが発生しうる。従って、サイズが大きい符号化単位である場合に、明示モードで動きベクトルを符号化することが妥当である。サイズが大きい符号化単位が、サイズが小さい符号化単位より、動きベクトルを誤って予測する場合に発生する誤差が大きくなる確率が高く、それぞれのピクチャごとにオーバーヘッドが発生する回数が小さくなるためである。

【0119】

例えば、ｍ個の６４Χ６４サイズの符号化単位で均一に分割されたピクチャを明示モードで符号化する場合、オーバーヘッドが発生する回数は、ｍ回であるが、同じサイズのピクチャを、４ｍ個の３２Χ３２サイズの符号化単位で均一に分割されたピクチャを明示モードで符号化する場合、オーバーヘッドが発生する回数は４ｍ回である。

【0120】

従って、本発明による予測部９１０が、現在ブロックの動きベクトルを符号化するにあたり、明示モード及び暗示モードのうち一つを、符号化単位のサイズに基づいて選択することができる。

【0121】

図１ないし図８と関連して述べた本発明による映像符号化、復号化方法で、符号化単位のサイズは、深度によって表現されるので、予測部９１０は、現在ブロックの深度に基づいて、現在ブロックの動きベクトルを、明示モードで符号化するか、あるいは暗示モードで符号化するかを選択する。例えば、深度０及び深度１の符号化単位をインター予測する場合には、符号化単位の動きベクトルを明示モードで符号化し、深度２以上の符号化単位をインター予測する場合には、暗示モードで符号化することができる。

【0122】

本発明の他の実施形態によれば、予測部９１０は、ピクチャ単位またはスライス単位で、明示モードまたは暗示モードを選択することができる。ピクチャ単位またはスライス単位ごとに映像特性が異なるので、これを考慮して、ピクチャ単位またはスライス単位で、明示モードまたは暗示モードを選択することができる。Ｒ−Ｄコストを考慮して、明示モード及び暗示モードのうち最適のモードを選択し、現在ピクチャまたは現在スライスに含まれた符号化単位の動きベクトルを予測符号化することができる。

【0123】

例えば、明示モードを利用せずとも、ピクチャまたはスライスに含まれた符号化単位の動きベクトルを正確に予測することができるならば、ピクチャまたはスライスに含まれたあらゆる符号化単位の動きベクトルを、暗示モードで予測符号化することができる。

【0124】

また、本発明の他の実施形態によれば、予測部９１０は、現在ブロックがスキップモードで符号化されたか否かによって、明示モード及び暗示モードのうち一つを選択することもできる。スキップモードとは、現在ブロックがスキップモードで符号化されたことを指示するフラグ情報のみ符号化し、ピクセル値が符号化しない符号化モードを意味する。

【0125】

スキップモードは、予測動きベクトルを現在ブロックの動きベクトルとして利用して動き補償して生成された予測ブロックが、現在ブロックと非常に類似しており、現在ブロックのピクセル値を符号化しないモードである。従って、予測動きベクトルを現在ブロックの動きベクトルと類似して生成するほど、スキップモードで現在ブロックを符号化する確率が高まる。従って、スキップモードで符号化されるブロックは、明示モードで符号化することができる。

【0126】

再び図９を参照すれば、予測部９１０で、明示モード及び暗示モードのうち一つを選択し、選択されたモードによって、予測動きベクトルを決定すれば、第１符号化９２０及び第２符号化部９３０は、符号化モードについての情報及び動きベクトルを符号化する。

【0127】

まず、第１符号化部９２０は、現在ブロックの予測動きベクトルについての情報を符号化する。予測部９１０で、明示モードで現在ブロックの動きベクトルを符号化することを選択すれば、明示モードで予測動きベクトルが生成されたことを指示する情報、及び複数の予測動きベクトル候補のうち、いずれの予測動きベクトルが現在ブロックの予測動きベクトルとして利用されたか指示する情報を符号化する。

【0128】

一方、予測部９１０で、暗示モードで現在ブロックの動きベクトルを符号化することを選択すれば、暗示モードで現在ブロックの予測動きベクトルを生成することを指示する情報を符号化する。言い換えれば、現在ブロックに隣接したブロックまたはピクセルを利用して、現在ブロックの予測動きベクトルを生成することを指示する情報を符号化する。二つ以上の暗示モードがある場合、いずれの暗示モードを利用して現在ブロックの予測動きベクトルを生成したかを指示する情報を符号化することもできる。

【0129】

第２符号化部９３０は、予測部９１０で決定された予測動きベクトルに基づいて、現在ブロックの動きベクトルを符号化する。動き補償の結果として生成された現在ブロックの動きベクトルから、予測部９１０で生成された予測動きベクトルを減算して差ベクトルを生成する。その後、差ベクトルについての情報を符号化する。

【0130】

図１３は、本発明の一実施形態による動きベクトルを復号化する装置を図示している。

【0131】

図２と関連して述べた映像復号化装置２００、または図５と関連して述べた映像復号化部５００に含まれて動きベクトルを復号化する装置を詳細に図示する。図１３を参照すれば、本発明の一実施形態による動きベクトル復号化装置１３００は、第１復号化部１３１０、第２復号化部１３２０、予測部１３３０及び動きベクトル復元部１３４０を含む。

【0132】

第１復号化部１３１０は、ビットストリームに含まれている現在ブロックの予測動きベクトルについての情報を復号化する。現在ブロックの予測動きベクトルが、明示モードまたは暗示モードで符号化されたかを示す情報を復号化する。明示モードで現在ブロックの予測動きベクトルが符号化された場合には、複数の予測動きベクトル候補のうち、現在ブロックの予測動きベクトルとして利用した１つの予測動きベクトルを指示する情報も復号化する。また、暗示モードで現在ブロックの予測動きベクトルが符号化された場合には、複数の暗示モードのうちいずれの暗示モードで現在ブロックの予測動きベクトルが符号化されたかを指示する情報も復号化することができる。

【0133】

第２復号化部１３１０は、ビットストリームに含まれている現在ブロックの動きベクトルと、予測動きベクトルとの差ベクトルを復号化する。

【0134】

予測部１３３０は、第１復号化部１３１０で復号化された現在ブロックの予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する。

【0135】

明示モードで符号化された現在ブロックの予測動きベクトルについての情報を復号化した場合には、図１０Ａ及び図１０Ｂ、図１１Ａないし図１１Ｃと関連して述べた予測動きベクトル候補のうち１つの予測動きベクトルを生成し、現在ブロックの予測動きベクトルとして利用する。

【0136】

暗示モードで符号化された現在ブロックの予測動きベクトルについての情報を復号化した場合には、現在ブロックに隣接した以前に符号化された領域に含まれているブロックまたはピクセルを利用し、現在ブロックの予測動きベクトルを生成する。現在ブロックに隣接したブロックの動きベクトルの中央値を、現在ブロックの予測動きベクトルとして生成するか、または現在ブロックに隣接したピクセルを利用して参照ピクチャを検索して現在ブロックの予測動きベクトルを生成する。

【0137】

動きベクトル復元部１３４０は、予測部１３３０で生成された予測動きベクトルと、第２復号化部１３２０で復号化された差ベクトルとを加算し、現在ブロックの動きベクトルを復元する。復元された動きベクトルは、現在ブロックの動き補償に利用される。

【0138】

図１４は、本発明の一実施形態による動きベクトルを符号化する方法について説明するためのフローチャートである。図１４を参照すれば、本発明の一実施形態による動きベクトル符号化装置は、段階１４１０で、予測動きベクトルについての情報を符号化するモードとして、明示モード及び暗示モードのうち１つのモードを選択する。

【0139】

明示モードは、予測動きベクトルについての情報として、少なくとも１つの予測動きベクトル候補のうち１つの予測動きベクトル候補を指示する情報を符号化するモードであり、暗示モードは、予測動きベクトルについての情報として、現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて、予測動きベクトルを生成することを指示する情報を符号化するモードである。詳細な説明は、図１０Ａ、図１０Ｂ、図１１Ａないし図１１Ｃ及び図１２と関連して述べた。

【0140】

現在ブロックのサイズ、すなわち、現在ブロックの深度に基づいて、モードを選択したり、現在ブロックが含まれた現在ピクチャ単位または現在スライス単位で、モードを選択することができる。また、現在ブロックがスキップモードで符号化されたか否かによってモードを選択することもできる。

【0141】

段階１４２０で、動きベクトル符号化装置は、段階１４１０で選択されたモードによって、予測動きベクトルを決定する。段階１４１０で選択された明示モードまたは暗示モードに基づいて、現在ブロックの予測動きベクトルを決定する。明示モードによって、少なくとも１つの予測動きベクトル候補のうち１つの予測動きベクトル候補を、現在ブロックの予測動きベクトルに決定したり、あるいは暗示モードによって、現在ブロックに隣接したブロックまたはピクセルに基づいて、現在ブロックの予測動きベクトルを決定する。

【0142】

段階１４３０で、動きベクトル符号化装置は、段階１４２０で決定された予測動きベクトルについての情報を符号化する。明示モードの場合、現在ブロックの予測動きベクトルが、少なくとも１つの予測動きベクトルのうち１つの予測動きベクトルを指示する情報、及び現在ブロックの予測動きベクトルについての情報が、明示モードによって符号化されることを指示する情報を符号化する。暗示モードの場合、現在ブロックの予測動きベクトルが、現在ブロックに隣接した以前に符号化された領域に含まれたブロックまたはピクセルに基づいて生成されることを指示する情報を符号化する。複数の暗示モードがある場合、このうち１つの暗示モードを指示する情報も符号化されもする。

【0143】

段階１４４０で、動きベクトル符号化装置は、段階１４２０で決定された予測動きベクトルを、現在ブロックの動きベクトルから減算して生成された差ベクトルを符号化する。

【0144】

図１５は、本発明の一実施形態による動きベクトルを復号化する方法について説明するためのフローチャートである。図１５を参照すれば、本発明の一実施形態による動きベクトル復号化装置は、段階１５１０で、ビットストリームに含まれた現在ブロックの予測動きベクトルについての情報を復号化する。明示モード及び暗示モードのうち現在ブロックの予測動きベクトルを符号化するのに利用されたモードについての情報を復号化する。

【0145】

明示モードの場合、現在ブロックの予測動きベクトルが明示モードによって符号化されたことを指示する情報、及び少なくとも１つの予測動きベクトル候補のうち１つの予測動きベクトル候補についての情報を復号化する。また、暗示モードの場合、現在ブロックの予測動きベクトルが、現在ブロックに隣接した以前に復号化された領域に含まれたブロックまたはピクセルに基づいて、生成されることを指示する情報を復号化する。複数の暗示モードがある場合、複数の暗示モードのうち１つの暗示モードを指示する情報も、共に復号化されもする。

【0146】

段階１５２０で、動きベクトル復号化装置は、差ベクトルについての情報を復号化する。差ベクトルは、現在ブロックの予測動きベクトルと、現在ブロックの動きベクトルとの差に係わるベクトルである。

【0147】

段階１５３０で、動きベクトル復号化装置は、段階１５１０で復号化された予測動きベクトルについての情報に基づいて、現在ブロックの予測動きベクトルを生成する。明示モードまたは暗示モードによって、現在ブロックの予測動きベクトルを生成する。少なくとも１つの予測動きベクトル候補のうち１つの予測動きベクトルを選択するか、あるいは現在ブロックに隣接した以前に復号化された領域に含まれたブロックまたはピクセルを利用して現在ブロックの予測動きベクトルを生成する。

【0148】

段階１５４０で、動きベクトル符号化装置は、段階１５２０で復号化された差ベクトルと、段階１５３０で生成された予測動きベクトルとを加算し、現在ブロックの動きベクトルを復元する。

【0149】

以上、本発明は、たとえ限定された実施形態と図面とによって説明されたにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によってのみ把握され、それと均等であるか、あるいは等価的な変形は、いずれも本発明の思想の範疇に属するのである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。

【0150】

例えば、本発明の例示的な実施形態による映像符号化装置、映像復号化装置、映像符号化部、映像復号化部、動きベクトル符号化装置及び動きベクトル復号化装置は、図１、図２、図４、図５、図９及び図１３に図示されているような装置のそれぞれのユニットに結合されたバス、前記バスに連結された少なくとも１つのプロセッサを含んでもよい。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合され、前述のような命令を遂行するための少なくとも１つのプロセッサに結合されたメモリを含んでもよい。

【0151】

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図11C】

【図12】

【図13】

【図14】

【図15】