特許 5727114 ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5727114

(24)【登録日】2015年4月10日

(45)【発行日】2015年6月3日

(54)【発明の名称】ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置

(51)【国際特許分類】

   H04N 19/119 20140101AFI20150514BHJP

   H04N 19/167 20140101ALI20150514BHJP

   H04N 19/176 20140101ALI20150514BHJP

   H04N 19/70 20140101ALI20150514BHJP

   H04N 19/96 20140101ALI20150514BHJP

【ＦＩ】

   H04N19/119

   H04N19/167

   H04N19/176

   H04N19/70

   H04N19/96

【請求項の数】5

【全頁数】32

(21)【出願番号】特願2015-9752(P2015-9752)

(22)【出願日】2015年1月21日

(62)【分割の表示】特願2013-127566(P2013-127566)の分割

【原出願日】2010年10月29日

【審査請求日】2015年1月23日

(31)【優先権主張番号】10-2009-0104421

(32)【優先日】2009年10月30日

(33)【優先権主張国】KR

【早期審査対象出願】

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チョン，ミン−ス

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２００７／０３４９１８（ＷＯ，Ａ１）

【文献】 特開２００７−１２４５６４（ＪＰ，Ａ）

【文献】 特開２００３−１２５４１７（ＪＰ，Ａ）

【文献】 特開平１１−１４６３６７（ＪＰ，Ａ）

【文献】 特開平１０−１７８６３９（ＪＰ，Ａ）

【文献】 特開平１１−５５６７２（ＪＰ，Ａ）

【文献】 特開平１１−１６４３０５（ＪＰ，Ａ）

【文献】 特開２０１０−１９３４０１（ＪＰ，Ａ）

【文献】 Jaeil Kim, Taeyoung Na, Changhee Kim, Bumshik Lee, Munchurl Kim，Enlarging MB size for high fidelity video coding beyond HD，ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group，２００８年１０月 ５日，[VCEG-AJ21]

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

映像復号化方法において、
現在符号化単位が現在ピクチャの境界を外れた領域を含まないと決定される時、受信されたビットストリームから符号化単位の分割如何を示す分割情報をパージングし、前記パージングされた分割情報が前記現在符号化単位が分割されないことを示す時前記現在符号化単位を復号化する段階と、
前記現在符号化単位が前記現在ピクチャの境界を外れた領域を含むと決定されるとき、前記現在符号化単位から分割された少なくとも一つの符号化単位を決定する段階を含み、
前記現在ピクチャは、複数の最大符号化単位に分割され、
前記最大符号化単位は、前記分割情報によって現在深度及び下位深度のうち、少なくとも一つを含む深度の符号化単位に階層的に分割され、
前記分割情報が前記現在深度で分割されることを示す時、前記現在深度の前記現在符号化単位は隣接符号化単位と独立して正方形の前記下位深度の符号化単位に４分割され、
前記分割情報が前記下位深度で分割されないことを示す時、一つ以上の予測単位は前記下位深度の符号化単位から獲得されることを特徴とする映像復号化方法。

【請求項2】

前記現在符号化単位から分割された少なくとも一つの符号化単位を決定する段階は、
前記現在符号化単位が前記現在ピクチャの境界を外れた場合、前記受信されたビットストリームから前記現在符号化単位の分割情報はパージングせず、前記現在符号化単位の分割を決定する段階を含むことを特徴とする請求項１に記載の映像復号化方法。

【請求項3】

前記現在符号化単位から分割された少なくとも一つの符号化単位を決定する段階は、
前記少なくとも一つの符号化単位のうち、前記現在ピクチャの境界を外れない符号化単位に対するデータをパージングして復号化する段階を含むことを特徴とする請求項２に記載の映像復号化方法。

【請求項4】

前記現在符号化単位が現在ピクチャの境界を外れた領域を含むか否かを決定する段階は、
前記決定された現在符号化単位それぞれのアドレスと、前記現在ピクチャの幅または高さを比較する段階を含むことを特徴とする請求項２に記載の映像復号化方法。

【請求項5】

映像復号化装置において、
現在符号化単位が現在ピクチャの境界を外れた領域を含むか否かを決定するプロセッサと、受信されたビットストリームからパージングされた符号化単位の分割如何を示す分割情報が前記現在符号化単位が分割されないことを示す時、前記現在符号化単位のレジデューをパージングして復号化する復号化部を含み、
前記プロセッサは、前記現在符号化単位が前記現在ピクチャの境界を外れた領域を含まないと決定される時、前記ビットストリームから前記分割情報をパージングし、
前記プロセッサは、前記現在符号化単位が前記現在ピクチャの境界を外れた領域を含むことと決定される時、前記現在符号化単位から分割された少なくとも一つの符号化単位を決定し、
前記現在ピクチャは複数の最大符号化単位に分割され、
前記最大符号化単位は、前記分割情報によって現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位に階層的に分割され、
前記分割情報が前記現在深度で分割されることを示す時、前記現在深度の前記現在符号化単位は隣接符号化単位と独立して正方形の前記下位深度の符号化単位に４分割され、
前記分割情報が前記下位深度で分割されないことを示す時、前記下位深度の符号化単位は少なくとも一つ以上の予測単位に分割されることを特徴とする映像復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化／復号化方法及びその装置に係り、さらに詳細には、ピクチャ境界の映像符号化単位を符号化／復号化する方法及びその装置に関する。

【背景技術】

【0002】

ＭＰＥＧ（moving picture experts group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（advanced video coding）のような映像圧縮方式では、映像を符号化するために、所定サイズのブロックに分ける。その後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用し、それぞれのブロックを予測符号化する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする技術的課題は、ピクチャ境界の符号化単位を符号化／復号化する方法及びその装置を提供するところにある。

【0004】

本発明が解決しようとする技術的課題はまた、前記方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

【課題を解決するための手段】

【0005】

前記技術的課題を解決するための本発明の一実施形態による映像符号化方法は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する段階と、前記判断結果に基づいて、第１符号化単位を少なくとも１つの第２符号化単位に分割する段階と、前記分割の結果として生成された少なくとも１つの第２符号化単位のうち、前記現在ピクチャの境界を外れていない第２符号化単位だけ符号化する段階と、を含む。

【0006】

本発明によるさらに望ましい実施形態によれば、前記現在ピクチャの境界を外れていない第２符号化単位の符号化時に、前記第１符号化単位の分割いかんを示す情報は、符号化しないことを特徴とする。

【0007】

本発明によるさらに望ましい実施形態によれば、前記第１符号化単位の深度と、前記第２符号化単位の深度とは異なり、前記深度は、現在スライスまたは現在ピクチャの最大符号化単位から、前記第１符号化単位及び前記第２符号化単位に段階的に縮小された程度を示すことを特徴とする。

【0008】

本発明によるさらに望ましい実施形態によれば、前記判断する段階は、前記第１符号化単位の左側または右側の境界が、前記現在ピクチャの左側または右側の境界を外れるか否かを判断する段階を含む。

【0009】

本発明によるさらに望ましい実施形態によれば、前記判断する段階は、前記第１符号化単位の上部または下部の境界が、前記現在ピクチャの上部または下部の境界を外れるか否かを判断する段階を含む。

【0010】

前記技術的課題を解決するための本発明の一実施形態による映像復号化方法は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する段階と、前記判断結果に基づいて、前記第１符号化単位を分割して生成された少なくとも１つの第２符号化単位のうち、前記現在ピクチャの境界を外れていない第２符号化単位に係わるデータをパージングする段階と、前記現在ピクチャの境界を外れていない第２符号化単位に係わるデータを復号化する段階と、を含むことを特徴とする。

【0011】

前記技術的課題を解決するための本発明の一実施形態による映像符号化装置は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する判断部と、前記判断結果に基づいて、第１符号化単位を少なくとも１つの第２符号化単位に分割する制御部と、前記分割の結果として生成された少なくとも１つの第２符号化単位のうち、前記現在ピクチャの境界を外れていない第２符号化単位だけ符号化する符号化部と、を含む。

【0012】

前記技術的課題を解決するための本発明の一実施形態による映像復号化装置は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する判断部と、前記判断結果に基づいて、前記第１符号化単位を分割して生成された少なくとも１つの第２符号化単位のうち、前記現在ピクチャの境界を外れていない第２符号化単位に係わるデータをパージングするパージング部と、前記現在ピクチャの境界を外れていない第２符号化単位に係わるデータを復号化する復号化部と、を含む。

【0013】

前記技術的課題を解決するために本発明の一実施形態は、前記映像符号化方法及び映像復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

【発明の効果】

【0014】

本発明によれば、オーバーヘッドを発生させずに、ブロック境界を効果的に符号化することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態による映像符号化装置を図示する図である。

【図2】本発明の一実施形態による映像復号化装置を図示する図である。

【図3】本発明の一実施形態による階層的符号化単位を図示する図である。

【図4】本発明の一実施形態による符号化単位に基づいた映像符号化部を図示する図である。

【図5】本発明の一実施形態による符号化単位に基づいた映像復号化部を図示する図である。

【図6】本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示する図である。

【図7】本発明の一実施形態による、符号化単位及び変換単位を図示する図である。

【図8A】本発明の一実施形態による符号化単位及び予測単位の分割形態を図示する図である。

【図8B】本発明の一実施形態による予測単位及び周波数変換単位の分割形態を図示する図である。

【図9】本発明の他の実施形態による映像符号化装置を図示する図である。

【図10A】本発明の一実施形態によるピクチャ境界の符号化単位を図示する図である。

【図10B】本発明の一実施形態によるピクチャ境界の符号化単位を図示する図である。

【図11A】本発明の一実施形態によるピクチャ境界の符号化単位を分割する方法を図示する図である。

【図11B】本発明の一実施形態によるピクチャ境界の符号化単位を分割する方法を図示する図である。

【図12A】本発明の他の実施形態によるピクチャ境界の符号化単位及び分割方法を図示する図である。

【図12B】本発明の他の実施形態によるピクチャ境界の符号化単位及び分割方法を図示する図である。

【図13A】本発明の一実施形態によるイントラ予測方法を図示する図である。

【図13B】本発明の一実施形態によるイントラ予測方法を図示する図である。

【図14】本発明の一実施形態による最大符号化単位のインデクシング（indexing）を図示する図である。

【図15】本発明の一実施形態による映像符号化方法について説明するためのフローチャートである。

【図16】本発明の一実施形態のさらに他の映像復号化装置を図示する図である。

【図17】本発明の一実施形態による映像復号化方法について説明するためのフローチャートである。

【図18A】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18B】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18C】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18D】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18E】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18F】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図18G】現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示する図である。

【図19】本発明の他の実施形態による映像符号化方法について説明するためのフローチャートである。

【図20A】図２０Ａ及び２０Ｂは本発明の他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【図20B】図２０Ａ及び２０Ｂは本発明の他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【図21】本発明の他の実施形態による映像復号化方法について説明するためのフローチャートである。

【図22】本発明のさらに他の実施形態による映像符号化方法について説明するためのフローチャートである。

【図23A】本発明のさらに他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【図23B】本発明のさらに他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【図24】本発明のさらに他の実施形態による映像復号化方法について説明するためのフローチャートである。

【発明を実施するための形態】

【0016】

以下、図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。構成要素の目録に先行する「少なくとも１つの」のような表現は、目録のそれぞれの構成要素を限定するものではなく、構成要素の全体目録を限定するものである。本発明で、「映像」は、ビデオの静止映像または動映像、すなわち、ビデオそれ自体を意味することができる。

【0017】

図１は、本発明の一実施形態による映像符号化装置を図示している。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。

【0018】

最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割することができる。現在ピクチャまたは現在スライスを少なくとも１つの最大符号化単位に分割することができる。

【0019】

本発明の一実施形態によれば、最大符号化単位及び深度を利用して符号化単位が表現される。前述のように、最大符号化単位は、現在ピクチャの符号化単位のうち、大きさが最も大きい符号化単位を示し、深度は、符号化単位が階層的に縮小された程度を示す。深度が大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深度は、最小深度で定義され、最小符号化単位の深度は、最大深度で定義される。最大符号化単位は、深度が大きくなるにつれて、深度別符号化単位の大きさは小さくなるので、ｋ深度のサブ符号化単位は、ｋより大きい深度の複数個のサブ符号化単位を含んでもよい。

【0020】

符号化されるピクチャの大きさが大きくなるにつれ、さらに大きい単位で映像を符号化すれば、さらに高い映像圧縮率で映像を符号化することができる。しかし、符号化単位を大きくし、その大きさを固定させてしまえば、続けて変わる映像の特性を反映して効率的に映像を符号化することができない。

【0021】

例えば、海または空に係わる平坦な領域を符号化するときには、符号化単位を大きくするほど、圧縮率が向上しうるが、人またはビルディングに係わる複雑な領域を符号化するときには、符号化単位を小さくするほど圧縮率が向上する。

【0022】

このために、本発明の一実施形態は、ピクチャまたはスライスごとに、異なる大きさの最大映像符号化単位を設定し、最大深度を設定する。最大深度は、符号化単位が縮小しうる最大回数を意味するので、最大深度によって最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定できる。

【0023】

符号化深度決定部１２０は、最大深度を決定する。最大深度は、Ｒ−Ｄコスト（rate-distortion cost）計算に基づいて決定される。最大深度は、ピクチャまたはスライスごとに異なって決定されたり、それぞれの最大符号化単位ごとに異なって決定されもする。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。

【0024】

最大深度は、最大符号化単位に含まれる最小サイズの符号化単位、すなわち、最小符号化単位を意味する。換言すれば、最大符号化単位は、異なる深度によって、異なるサイズのサブ符号化単位に分割されてもよい。図８Ａ及び図８Ｂを参照して詳細に後述する。また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基づいて、予測または周波数変換（ピクセルドメインの値を周波数ドメインの値に変換、例えば、離散コサイン変換）される。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様な大きさ及び多様な形態の処理単位に基づいて遂行することができる。映像データの符号化のためには、予測、周波数変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にわたって、同サイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。

【0025】

例えば、映像符号化装置１００は、所定の符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。

【0026】

符号化単位の大きさが、２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどである。言い換えれば、符号化単位の高さまたは幅のうち、少なくとも一つを半分にする形態の処理単位を基にして動き予測が行われもする。以下、予測の基礎になる処理単位は、「予測単位」とする。

【0027】

予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであり、特定予測モードは、特定サイズまたは形態の予測単位についてのみ行われる。例えば、イントラモードは、正方形である２Ｎｘ２Ｎ,ＮｘＮサイズの予測単位に対してのみ遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズの予測単位に対してのみ行われる。符号化単位内部に、複数の予測単位があるならば、それぞれの予測単位に対して予測を行い、符号化誤差が最小の予測モードが選択されてもよい。

【0028】

また、映像符号化装置１００は、符号化単位と異なる大きさの処理単位に基づいて、映像データを周波数変換することができる。符号化単位の周波数変換のために、符号化単位より小さいか、あるいは同じサイズのデータ単位を基にして、周波数変換が行われる。以下、周波数変換の基礎になる処理単位を「変換単位」とする。

【0029】

符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian multiplier）基盤の率歪曲最適化技法（rate-distortion optimization）を利用し、最大符号化単位に含まれたサブ符号化単位を決定することができる。言い換えれば、最大符号化単位が、いかなる形態の複数のサブ符号化単位に分割されるかを決定することができるが、ここで、複数のサブ符号化単位は、深度によって大きさが異なる。その後、映像データ符号化部１３０は、符号化深度決定部１２０で決定された分割形態に基づいて、最大符号化単位を符号化してビットストリームを出力する。

【0030】

符号化情報符号化部１４０は、符号化深度決定部１２０で決定された最大符号化単位の符号化モードについての情報を符号化する。最大符号化単位の分割形態についての情報、最大深度についての情報及び深度別サブ符号化単位の符号化モードについての情報を符号化し、ビットストリームを出力する。サブ符号化単位の符号化モードについての情報は、サブ符号化単位の予測単位についての情報、予測単位別予測モード情報、サブ符号化単位の変換単位についての情報などを含んでもよい。

【0031】

最大符号化単位の分割形態についての情報は、それぞれの符号化単位に対する分割いかんを示す情報であってもよい。例えば、最大符号化単位を分割して符号化する場合、最大符号化単位に対する分割いかんを示す情報を符号化し、最大符号化単位を分割して生成されたサブ符号化単位をさらに分割して符号化する場合にも、それぞれのサブ符号化単位に対する分割いかんを示す情報を符号化する。分割いかんを示す情報は、分割いかんを示すフラグ情報であってもよい。

【0032】

最大符号化単位ごとに異なるサイズのサブ符号化単位が存在し、それぞれのサブ符号化単位ごとに、符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。

【0033】

映像符号化装置１００は、深度が大きくなるにつれ、最大符号化単位を高さ及び幅を半分にしてサブ符号化単位を生成することができる。すなわち、ｋ深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、ｋ＋１深度の符号化単位の大きさは、ＮｘＮである。

【0034】

従って、一実施形態による映像符号化装置１００は、映像の特性を考慮した最大符号化単位の大きさ及び最大深度を基にして、それぞれの最大符号化単位ごとに、最適の分割形態を決定することができる。映像特性を考慮して、可変的に最大符号化単位の大きさを調節し、異なる深度のサブ符号化単位で最大符号化単位を分割して映像を符号化することによって、多様な解像度の映像をさらに効率的に符号化することができる。

【0035】

図２は、本発明の一実施形態による映像復号化装置を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。

【0036】

映像関連データ獲得部２１０は、映像復号化装置２００が受信したビットストリームをパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位についての情報を抽出することができる。言い換えれば、ビットストリームを最大符号化単位に分割し、映像データ復号化部２３０に、最大符号化単位ごとに映像データを復号化させる。

【0037】

符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位、最大深度、最大符号化単位の分割形態、サブ符号化単位の符号化モードについての情報を抽出する。分割形態及び符号化モードについての情報は、映像データ復号化部２３０に出力される。

【0038】

最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深度によって異なるサイズのサブ符号化単位についての情報を含んでもよい。前述のように、分割形態についての情報は、それぞれの符号化単位に対して符号化された分割いかんを示す情報（例えば、フラグ情報）であってもよい。

【0039】

符号化モードについての情報は、サブ符号化単位別予測単位についての情報、予測モードについての情報及び変換単位についての情報などを含んでもよい。

【0040】

映像データ復号化部２３０は、符号化情報抽出部２２０で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化して現在ピクチャを復元する。

【0041】

最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含んでもよい。

【0042】

映像データ復号化部２３０は、サブ符号化単位の予測のために、サブ符号化単位別予測単位についての情報、及び予測モードについての情報に基づいて、イントラ予測またはインター予測を行うことができる。また、映像データ復号化部２３０は、サブ符号化単位の変換単位についての情報に基づいて、サブ符号化単位ごとに周波数逆変換を行うことができる。

【0043】

図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８及び４ｘ４を含んでもよい。正方形の符号化単位以外にも、幅ｘ高さが、６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４、４ｘ８である符号化単位が存在しうる。

【0044】

図３を参照すれば、解像度が１９２０ｘ１０８０である映像データ３１０に対して、最大符号化単位の大きさが６４ｘ６４、最大深度が２に設定されている。

【0045】

解像度が１９２０ｘ１０８０である他の映像データ３２０に対して、最大符号化単位の大きさが６４ｘ６４、最大深度が３に設定されている。解像度が３５２ｘ２８８であるビデオデータ３３０について、最大符号化単位の大きさが１６ｘ１６、最大深度が１に設定されている。

【0046】

解像度が高くても、データ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、映像データ３３０に比べ、高解像度の映像データ３１０及び３２０は、最大符号化単位の大きさが６４ｘ６４に選択されてもよい。

【0047】

最大深度は、階層的符号化単位での総階層数を示している。映像データ３１０の最大深度が２であるから、映像データ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２,１６であるサブ符号化単位まで含んでもよい。

【0048】

一方、映像データ３３０の最大深度が１であるから、映像データ３３０の符号化単位３３５は、長軸サイズが１６の最大符号化単位から、深度が増加するにつれて、長軸サイズが８,４である符号化単位まで含んでもよい。

【0049】

映像データ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深度が増加するにつれて、長軸サイズが３２，１６，８，４のサブ符号化単位まで含んでもよい。深度が増加するほど、さらに小さいサブ符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。

【0050】

図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部を図示している。

【0051】

イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位に対して、現在フレーム４０５及び参照フレーム４９５を利用して、インター予測及び動き補償を行う。

【0052】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残差値（residual value）が生成され、生成された残差値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。

【0053】

量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介してさらに残差値に復元され、復元された残差値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されもする。

【0054】

本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像符号化過程を処理する。

【0055】

図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部を図示している。

【0056】

ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、残差値に復元される。残差値は、イントラ予測部５５０のイントラ予測の結果または動き補償部５６０の動き補償結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。

【0057】

本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位、深度によるサブ符号化単位、予測単位及び変換単位に基づいて映像復号化過程を処理する。

【0058】

特に、イントラ予測部５５０、動き補償部５６０は、最大符号化単位及び深度を考慮して、サブ符号化単位内の予測単位及び予測モードを決定し、周波数逆変換部５４０は、変換単位の大きさを考慮して、周波数逆変換を行う。

【0059】

図６は、本発明の一実施形態による最大符号化単位、サブ符号化単位及び予測単位を図示している。

【0060】

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、映像特性を考慮して符号化、復号化を行うために、階層的な符号化単位を利用する。最大符号化単位及び最大深度は、映像の特性によって適応的に設定されたり、ユーザの要求によって多様に設定される。

【0061】

本発明の一実施形態による符号化単位の階層構造６００は、最大符号化単位６１０の高さ及び幅が６４であり、最大深度が４である場合を図示している。符号化単位の階層構造６００の縦軸に沿って深度が増加し、深度の増加によって、サブ符号化単位６２０ないし６５０の高さ及び幅が縮小される。また、符号化単位の階層構造６００の横軸に沿って、最大符号化単位６１０及びサブ符号化単位６２０ないし６５０の予測単位が図示されている。

【0062】

最大符号化単位６１０は、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が増加し、大きさ３２ｘ３２である深度１のサブ符号化単位６２０、大きさ１６ｘ１６である深度２のサブ符号化単位６３０、サイズ８ｘ８である深度３のサブ符号化単位６４０、大きさ４ｘ４である深度４のサブ符号化単位６５０が存在する。大きさ４ｘ４である深度４のサブ符号化単位６５０は、最小符号化単位である。

【0063】

図６を参照すれば、それぞれの深度別に、横軸に沿って予測単位の例示が図示されている。すなわち、深度０の最大符号化単位６１０の予測単位は、大きさ６４ｘ６４の符号化単位６１０と同一であるか、あるいはそれより小サイズであるサイズ６４ｘ６４の予測単位６１０、サイズ６４ｘ３２の予測単位６１２、サイズ３２ｘ６４の予測単位６１４、サイズ３２ｘ３２の予測単位６１６であってもよい。

【0064】

深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０と同一であるか、あるいはそれより小サイズであるサイズ３２ｘ３２の予測単位６２０、サイズ３２ｘ１６の予測単位６２２、サイズ１６ｘ３２の予測単位６２４、サイズ１６ｘ１６の予測単位６２６であってもよい。

【0065】

深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０と同一であるか、あるいはそれより小サイズであるサイズ１６ｘ１６の予測単位６３０、サイズ１６ｘ８の予測単位６３２、サイズ８ｘ１６の予測単位６３４、サイズ８ｘ８の予測単位６３６であってもよい。

【0066】

深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０と同一であるか、あるいはそれより小サイズであるサイズ８ｘ８の予測単位６４０、サイズ８ｘ４の予測単位６４２、サイズ４ｘ８の予測単位６４４、サイズ４ｘ４の予測単位６４６であってもよい。

【0067】

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最大深度の符号化単位であり、予測単位は、サイズ４ｘ４の予測単位６５０である。

【0068】

図７は、本発明の一実施形態による符号化単位及び変換単位を図示している。

【0069】

本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位をそのまま符号化したり、最大符号化単位より小さいか、あるいは同じサブ符号化単位に最大符号化単位を分割して符号化する。符号化過程において、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくない変換単位に選択される。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。

【0070】

図８Ａ及び図８Ｂは、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の分割形態を図示している。

【0071】

図８Ａは、本発明の一実施形態による符号化単位及び予測単位を図示している。図８Ａの左側は、最大符号化単位８１０を符号化するために、本発明の一実施形態による映像符号化装置１００が選択した分割形態を図示している。映像符号化装置１００は、多様な形態に最大符号化単位８１０を分割して符号化した後、多様な分割形態の符号化結果をＲ−Ｄコストに基づいて比較し、最適の分割形態を選択する。最大符号化単位８１０をそのまま符号化するのが最適である場合には、図８Ａ及び図８Ｂのように、最大符号化単位８１０を分割せずに、最大符号化単位８００を符号化することもできる。

【0072】

図８Ａの左側を参照すれば、深度０である最大符号化単位８１０を、深度１以上のサブ符号化単位に分割して符号化する。最大符号化単位８１０を、４個の深度１のサブ符号化単位に分割した後、全部または一部の深度１のサブ符号化単位を、さらに深度２のサブ符号化単位に分割する。

【0073】

深度１のサブ符号化単位のうち、右側上部に位置したサブ符号化単位及び左側下部に位置したサブ符号化単位が、深度２以上のサブ符号化単位に分割された。深度２以上のサブ符号化単位のうち一部は、さらに深度３以上のサブ符号化単位に分割されてもよい。

【0074】

図８Ａの右側は、最大符号化単位８１０に係わる予測単位の分割形態を図示している。図８Ａの右側を参照すれば、最大符号化単位に係わる予測単位８６０は、最大符号化単位８１０と異なって分割されてもよい。言い換えれば、サブ符号化単位それぞれに係わる予測単位は、サブ符号化単位より小さくともよい。

【0075】

例えば、深度１のサブ符号化単位のうち、右側下部に位置したサブ符号化単位８５４に係わる予測単位は、サブ符号化単位８５４より小さくともよい。深度２のサブ符号化単位８１４，８１６，８１８，８２８，８５０，８５２のうち、一部のサブ符号化単位８１５，８１６，８５０，８５２に係わる予測単位は、サブ符号化単位より小さくともよい。

【0076】

また、深度３のサブ符号化単位８２２，８３２，８４８に係わる予測単位は、サブ符号化単位より小さくともよい。予測単位は、それぞれのサブ符号化単位を、高さまたは幅の方向に半分にした形態でもあり、高さ方向及び幅方向に４分した形態でもある。

【0077】

図８Ｂは、本発明の一実施形態による予測単位及び変換単位を図示している。図８Ｂの左側は、図８Ａの右側に図示された最大符号化単位８１０に係わる予測単位の分割形態を図示し、図８Ｂの右側は、最大符号化単位８１０の変換単位の分割形態を図示している。

【0078】

図８Ｂの右側を参照すれば、変換単位８７０の分割形態は、予測単位８６０と異なって設定される。

【0079】

例えば、深度１の符号化単位８５４に係わる予測単位が、高さを半分にした形態で選択されてたにしても、変換単位は、深度１の符号化単位８５４の大きさと同じ大きさに選択される。同様に、深度２の符号化単位８１４，８５０に係わる予測単位が、深度２の符号化単位８１４，８５０の高さを半分にした形態で選択されたとしても、変換単位は、深度２の符号化単位８１４，８５０の本来大きさと同じサイズに選択される。

【0080】

予測単位よりさらに小サイズに変換単位が選択されもする。例えば、深度２の符号化単位８５２に係わる予測単位が、幅を半分にした形態で選択された場合、変換単位は、予測単位よりさらに小サイズである高さ及び幅を半分にした形態で選択される。

【0081】

図９は、本発明の他の実施形態による映像符号化装置を図示している。

【0082】

図９を参照すれば、本発明の一実施形態による映像符号化装置９００は、判断部９１０、制御部９２０及び符号化部９３０を含む。映像符号化装置９００は、前述の深度によって段階的に大きさが変わる符号化単位、予測単位及び変換単位に基づいて映像符号化する装置であってもよい。

【0083】

判断部９１０は、符号化のために映像符号化装置９００に入力された第１符号化単位が、現在ピクチャの境界を外れた領域を含むか否かを判断する。

【0084】

映像符号化装置９００は、第１符号化単位が現在ピクチャの境界を外れた領域を含まない場合、第１符号化単位をそのまま符号化する。第１符号化単位を分割せずに、予測し、周波数変換（例えば、離散コサイン変換）することもでき、第１符号化単位を、図２、図６、図８Ａ及び図８Ｂと関連して述べたように、所定の深度によって、複数の符号化単位に分割した後、予測して周波数変換することもできる。

【0085】

しかし、第１符号化単位が、現在ピクチャの境界を外れた領域を含む場合には、第１符号化単位を分割し、少なくとも１つの第２符号化単位を生成した後、現在ピクチャの境界を外れていない第２符号化単位だけ符号化する。

【0086】

言い換えれば、映像符号化装置９００は、第１符号化単位が、現在ピクチャの境界を外れた領域を含むか否かによって、異なる符号化方法を利用して、第１符号化単位を符号化するが、判断部９１０は、まず第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。図１０Ａ及び図１０Ｂを参照して後述する。

【0087】

図１０Ａ及び図１０Ｂは、本発明の一実施形態によるピクチャ境界の符号化単位を図示している。図１０Ａ及び図１０Ｂを参照すれば、第１符号化単位１０２０は、現在ピクチャの境界１０１０に跨っている。現在ピクチャの大きさが最大符号化単位の大きさの倍数ではない場合、例えば、最大符号化単位の大きさを３２ｘ３２に設定して現在ピクチャを符号化するが、現在ピクチャの横または縦の大きさが３２の倍数ではない場合には、最大符号化単位が現在ピクチャの境界１０１０を外れた領域１０２４を含む。同様に、図１０Ｂのように、第１符号化単位１０４０が現在ピクチャの境界１０３０を外れた領域１０４４を含むことがある。図１０Ａで、現在ピクチャの境界１０１０の左側は、現在ピクチャの内部領域であり、右側は、現在ピクチャの外部領域であり、図１０Ｂで、現在ピクチャの境界１０３０の上部は、現在ピクチャの内部領域であり、下部は、現在ピクチャの外部領域である。

【0088】

図１０Ａ及び図１０Ｂは、第１符号化単位１０２０または１０４０が、現在ピクチャの右側境界及び下部境界に跨った場合を図示しているが、第１符号化単位１０２０または１０４０が、現在ピクチャの左側境界及び上部境界に跨った場合もありうる。

【0089】

判断部９１０は、図１０Ａ及び図１０Ｂに図示されているように、第１符号化単位１０２０または１０４０が、現在ピクチャの境界１０１０または１０３０を外れた領域を含んでいるか否かを判断するために、第１符号化単位１０２０または１０４０の境界を現在ピクチャの境界と比較する。

【0090】

第１符号化単位１０２０の右側境界が、現在ピクチャの右側境界を外れたり、左側境界が、現在ピクチャの左側境界を外れれば、第１符号化単位１０２０は、現在ピクチャの境界１０１０を外れた領域を含んでいると判断される。また、第１符号化単位１０４０の下部境界が、現在ピクチャの下部境界を外れたり、上部境界が現在ピクチャの上部境界を外れれば、第１符号化単位１０４０が、現在ピクチャの境界１０３０を外れた領域を含んでいると判断される。

【0091】

再び図９を参照すれば、判断部９１０で、第１符号化単位１０２０または１０４０が現在ピクチャの境界を外れた領域を含んでいると判断すれば、制御部９２０は、第１符号化単位１０２０または１０４０を少なくとも１つの第２符号化単位に分割する。

【0092】

本願発明の一実施形態による映像符号化装置９００は、前述の階層的な符号化単位を利用して映像を符号化、復号化することができる。最大符号化単位を、所定深度のサブ符号化単位に分けて映像を符号化／復号化することができる。このとき深度は、最大符号化単位から所定サブ符号化単位に段階的に縮小された程度を示す。

【0093】

制御部９２０は、このような深度によって、第１符号化単位１０２０を少なくとも１つの第２符号化単位に分割する。例えば、第１符号化単位１０２０が、深度０である最大符号化単位である場合、少なくとも１つの深度１の符号化単位に、第１符号化単位１０２０を分割することができる。また、深度１の符号化単位より深度が大きい符号化単位、すなわち、深度が２以上である符号化単位に、第１符号化単位１０２０を分割することもできる。図１１Ａ及び図１１Ｂを参照して詳細に説明する。

【0094】

図１１Ａ及び図１１Ｂは、本発明の一実施形態によるピクチャ境界の符号化単位を分割する方法を図示している。

【0095】

図１１Ａは、図１０Ａに図示された第１符号化単位１０２０が、少なくとも１つの第２符号化単位１１１０ないし１１４０に分割される場合を図示する。図１０Ａと関連して述べたように、第１符号化単位１０２０がピクチャ境界に跨った場合、第１符号化単位１０２０は、現在ピクチャの境界を外れた領域１０２４を含む。

【0096】

第１符号化単位１０２０を、異なる深度の少なくとも１つの第２符号化単位１１１０ないし１１４０に分割し、現在ピクチャの境界を外れていない領域に係わる第２符号化単位１１１０ないし１１２０と、現在ピクチャの境界を外れた領域に係わる第２符号化単位１１３０ないし１１４０とに区分する。

【0097】

図１１Ｂは、図１０Ｂに図示された第１符号化単位１０４０が、少なくとも１つの第２符号化単位１１５０ないし１１８０に分割される場合を図示する。

【0098】

第１符号化単位１０４０を、異なる深度の少なくとも１つの第２符号化単位１１５０ないし１１８０に分割し、現在ピクチャの境界を外れていない領域に係わる第２符号化単位１１５０ないし１１６０と、現在ピクチャの境界を外れた領域に係わる第２符号化単位１１７０ないし１１８０とに区分する。

【0099】

図１１Ａ及び図１１Ｂは、第１符号化単位１０２０または１０４０を同サイズの４個の第２符号化単位に分割すれば、境界を外れていない領域に係わる第２符号化単位と、境界を外れた領域に係わる第２符号化単位とを区分することができる場合を図示した。しかし、第１符号化単位１０２０または１０４０を同サイズの４個の第２符号化単位に分割したとしても、境界を外れていない領域に係わる第２符号化単位と、境界を外れた領域に係わる第２符号化単位とを区分することができない場合がある。図１２Ａ及び図１２Ｂを参照して詳細に説明する。

【0100】

図１２Ａ及び図１２Ｂは、本発明の他の実施形態によるピクチャ境界の符号化単位及び分割方法を図示している。

【0101】

図１２Ａに図示されているように、第１符号化単位１２２０がピクチャ境界に位置する場合、第１符号化単位１２２０を、第２符号化単位１２３０ないし１２６０に分割しても、現在ピクチャの境界を外れた第２符号化単位と、境界を外れていない第２符号化単位とを区分することができない。一部の第２符号化単位１２５０及び１２６０が相変らず境界を外れた領域と、境界を外れていない領域とを含んでいるためである。

【0102】

従って、図１２Ａに図示されているように、第１符号化単位１２２０が境界に位置する場合、第１符号化単位１２２０を反復して分割する。図１２Ａに図示された実施形態では、第２符号化単位１２５０及び１２６０をもう一度分割し、第３符号化単位１２５２ないし１２５８，１２６２ないし１２６８を生成する。

【0103】

第２符号化単位１２５０及び１２６０を、さらに小サイズの第３符号化単位にもう一度さらに分割することによって、境界を外れていない符号化単位１２３０，１２４０，１２５２，１２５４，１２６２及び１２６４と、境界を外れた符号化単位１２５６，１２５８，１２６６及び１２６８を区分することができる。

【0104】

再び図９を参照すれば、制御部９２０が、図１１Ａ、図１１Ｂ及び１２Ｂに図示されているように、第１符号化単位１０２０，１０４０または１２２０を分割し、境界を外れた領域と、境界を外れていない領域とを区分すれば、符号化部９３０は、第１符号化単位を分割して生成された少なくとも１つの符号化単位のうち、現在ピクチャの境界を外れていない符号化単位だけ符号化する。

【0105】

第１符号化単位が、現在ピクチャの境界を外れた領域を含まない場合には、第１符号化単位を全部を符号化する。第１符号化単位を分割せずに、予測し、周波数変換（例えば、離散コサイン変換）することもでき、第１符号化単位を、図２、図６、図８Ａ及び図８Ｂと関連して述べたように、所定の深度によって複数の符号化単位に分割した後、予測して周波数変換することもできる。

【0106】

しかし、第１符号化単位が、現在ピクチャの境界を外れた領域を含む場合には、制御部９２０の分割結果によって、境界を外れていない領域のピクセル値だけ符号化する。

【0107】

図１１Ａに図示された実施形態で、左側に位置した第２符号化単位１１１０及び１１２０を符号化し、図１１Ｂに図示された実施形態で、上部に位置した第２符号化単位１１５０及び１１６０を符号化する。図１２Ｂに図示された例では、左側に位置した第２符号化単位１２３０及び１２４０と、左側に位置した第３符号化単位１２５２，１２５４，１２６２及び１２６４を符号化する。境界を外れていない符号化単位を、所定の予測単位に基づいて予測し、予測結果として生成される残差値を所定の変換単位に基づいて周波数変換する。

【0108】

本願発明の一実施形態による映像符号化装置９００は、ピクチャ境界に位置した第１符号化単位のうち、境界を外れていないピクセル値だけ符号化することができるので、境界を外れた不要なピクセル値の符号化による圧縮率低下を防止することができる。

【0109】

また、符号化部９３０の前述した分割いかんについての情報（例えば、分割いかんを示すフラグ情報）も選択的に符号化することができる。第１符号化単位がピクチャ境界に跨った場合、第１符号化単位は、制御部９２０によって分割される。境界を外れていない領域のピクセル値だけ符号化するために、分割は必須であるので、第１符号化単位に対しては、分割いかんについての情報を符号化する必要がない。分割いかんについての情報を別途に符号化せずとも、復号化する側で、第１符号化単位が分割されることを知っているためである。しかし、本発明の他の実施形態によれば、第１符号化単位の分割が必須であるときにも、分割いかんについての情報を別途に符号化することもできる。

【0110】

しかし、前述の映像符号化方法によって、符号化部９３０が現在ピクチャの境界を外れた領域のピクセル値を符号化しないために、境界に跨った第１符号化単位が、他の符号化単位の予測に利用されない場合が生じる。図１３Ａ及び図１３Ｂを参照して詳細に説明する。

【0111】

図１３Ａ及び図１３Ｂは、本発明の一実施形態によるイントラ予測方法を図示している。

【0112】

図１３Ａを参照すれば、本発明の一実施形態によるイントラ予測方法は、所定の予測単位１３１０をイントラ予測するにあたり、以前に符号化された隣接したピクセル値１３２０を利用することができる。特に、本発明の一実施例によるイントラ予測は、予測単位１３１０の左側下部の縦方向に、「ＰｕSize」ほどのピクセルをさらに利用することもできる。

【0113】

本発明による映像符号化方法は、図８Ａに図示されているように、階層的な符号化単位を利用して映像を符号化する。従って、予測単位１３１０の左側は、もちろん左側下部に隣接したピクセルを利用してイントラ予測を行うことができる。例えば、図８Ａの符号化単位８３０をイントラ予測するとき、符号化単位８３０の上部、及び右側上部に隣接したピクセル、すなわち、符号化単位８１２に含まれたピクセルはもちろん、符号化単位８３０の左側、及び左側下部に隣接したピクセル、すなわち、符号化単位８２８に含まれたピクセルを利用して、イントラ予測を行うことができる。

【0114】

ところで、右側上部及び左側下部に隣接したピクセルが利用可能ではない場合がある。図１３Ｂに図示されているように、符号化単位１３３０を符号化するとき、右側上部に隣接したピクセル値のうち、一部ピクセル値１３４６を利用することができない。右側上部に位置した符号化単位１３４０を符号化するとき、現在ピクチャの境界１３５０を外れた領域の符号化単位１３４４は、符号化しないためである。従って、符号化単位１３３０のイントラ予測に利用することができる隣接したピクセルは、上部、左側及び左側下部のピクセルのみである。

【0115】

符号化部９３０は、右側上部に隣接したピクセルを利用できるか否かを判断するために、「ｃｕｘ＋ｃｕSize＋ｃｕSize」が前述の「Frame＿width」より大きいか否かを判断する。「ｃｕｘ」は、符号化単位１３３０の左側境界のＸ座標であり、「ｃｕSize」は、符号化単位１３３０の縦横サイズであり、「Frame＿width」は、現在ピクチャの横サイズである。

【0116】

また、符号化部９３０は、左側下部に隣接したピクセルを利用できる否かを判断するために、「ｃｕｙ＋ｃｕSize＋ｃｕSize」が、前述の「Frame＿height」より大きいか否かを判断する。「ｃｕｘ」は、符号化単位１３３０の左側境界のＸ座標であり、「ｃｕSize」は、符号化単位１３３０の縦サイズであり、「Frame＿height」は、現在ピクチャの縦サイズである。

【0117】

符号化部９３０は、第１符号化単位が境界を外れた領域を含むか否かに基づいて、符号化方法についての情報、すなわち、符号化モードについての情報をさらに効率的に符号化することができる。第１符号化単位が境界を外れた領域を含む場合、第１符号化モードが、他の符号化モードである第２符号化モードを意味するように、符号化モードについての情報を符号化することができる。

【0118】

図１８Ａないし図１８Ｇを参照して、第１符号化単位の予測モードについての情報を符号化する場合を例に挙げて説明する。図１８Ａないし図１８Ｇは、現在ピクチャの境界を外れた領域を含む２Ｎｘ２Ｎサイズの第１符号化単位の予測モードを図示している。図１８Ａないし図１８Ｈで、斜線領域が現在ピクチャの境界を外れた領域である。

【0119】

図１８Ａを参照すれば、２Ｎｘ２Ｎの第１符号化単位の右側Ｎｘ２Ｎ領域が境界を外れた領域である。符号化部９３０が、図１８Ａの第１符号化単位の符号化するにあたり、２Ｎｘ２Ｎサイズの予測モードを選択しても、境界を外れた領域は、予測を行わないので、Ｎｘ２Ｎ予測モードで予測を行う。

【0120】

言い換えれば、符号化部９３０が、第１符号化単位の予測モードについての情報を、２Ｎｘ２Ｎ予測モードに設定しても、Ｎｘ２Ｎ予測モードに設定する場合と同一に、予測が行われる。従って、Ｎｘ２Ｎ予測モードを別途に設定する必要がなく、２Ｎｘ２Ｎ予測モードについての情報を、Ｎｘ２Ｎ予測モードについての情報として利用することができる。これは、予測モードの種類が減る効果と同一であり、これにより、符号化部９３０が予測モードについての情報を符号化するために必要なビット数を減らすことができる。

【0121】

同様に、図１８Ｂでも、符号化部９３０は、第１符号化単位の予測モードを２Ｎｘ２Ｎ予測モードに設定することにより、２ＮｘＮ予測モードの代わりをすることができる。

【0122】

図１８Ｃで、符号化部９３０は、第１符号化単位の予測モードを２Ｎｘ２Ｎ予測モードに設定し、２ＮｘＮ／２予測モードの代わりをすることができる。図１８Ｂと比較すれば、図１８Ｃでは、予測される領域の縦サイズが１／２に縮小した。しかし、第１符号化単位で、境界を外れていない領域だけ予測するのは、図１８Ｂと同一であるので、第１符号化単位の予測モードを２Ｎｘ２Ｎ予測モードに設定し、２ＮｘＮ／２予測モードの代わりを行うことができる。

【0123】

図１８Ｄで、符号化部９３０は、第１符号化単位の予測モードをＮｘＮ予測モードに設定し、２ＮｘＮ予測モードの代わりを行うことができる。図１８Ｄの第１符号化単位が２ＮｘＮ予測モードで予測され、第１符号化単位の右側半分が境界を外れた領域に含まれた場合、ＮｘＮ予測モードと同一に、ＮｘＮサイズで予測が行われる。従って、ＮｘＮ予測モードでもって、ＮｘＮ予測モードの代わりを行うことができる。

【0124】

図１８Ｅで、符号化部９３０は、第１符号化単位の予測モードを２ＮｘＮ予測モードに設定し、２ＮｘＮ／２予測モードの代わりを行うことができる。図１８Ｂと比較すれば、縦サイズが１／２に縮小された２つの予測単位に基づいて予測を行う。従って、図１８Ｂによって設定された２Ｎｘ２Ｎ予測モードで、縦サイズに係わる部分だけ１／２に縮小させた２ＮｘＮ予測モードで、第１符号化単位の予測モードを設定することができる。

【0125】

図１８Ｆで、符号化部９３０は、第１符号化単位の予測モードを２Ｎｘ２Ｎ予測モードに設定し、ＮｘＮ予測モードの代わりを行うことができる。図１８Ｆの第１符号化単位も、図１８Ａ、図１８Ｂ及び図１８Ｃと同様に、第１符号化単位で、境界を外れていない領域だけ予測する。従って、第１符号化単位の予測モードを２Ｎｘ２Ｎ予測モードに設定し、ＮｘＮ予測モードの代わりを行うことができる。

【0126】

図１８Ｇで、符号化部９３０は、第１符号化単位の予測モードをＮｘ２Ｎ予測モードに設定し、Ｎ／２ｘＮ予測モードの代わりを行うことができる。図１８Ｆと比較すれば、横サイズが１／２に縮小された２つの予測単位に基づいて予測を行う。従って、図１８Ｂによって設定された２Ｎｘ２Ｎ予測モードで、横部分を１／２に縮小させたＮｘ２Ｎ予測モードで、第１符号化単位の予測モードを設定することができる。

【0127】

図９ないし図１３と関連して述べた映像符号化装置９００の符号化過程は、次のようなプログラミング・コードによって具現される。

【0128】

ＵＩｎｔ ｕｉＬＰｅｌＸ
ＵＩｎｔ ｕｉＲＰｅｌＸ
ＵＩｎｔ ｕｉＴＰｅｌＹ
ＵＩｎｔ ｕｉＢＰｅｌＹ
if（！（（ｕｉＲＰｅｌＸ＜ｐｃＣＵ→getSlice（）→getWidth（））＆＆（ｕｉＢＰｅｌＹ＜ｐｃＣＵ→getSlice（）→getHeight（））））
｛
go＿next＿depth＿process（）；
｝
前記プログラミング・コードを参照すれば、関数「ＵＩｎｔ
ｕｉＬＰｅＬＸ」、「ＵＩｎｔ ｕｉＲＰｅＬＸ」、「ＵＩｎｔ ｕｉＴＰｅＬＹ」及び「ＵＩｎｔ ｕｉＢＰｅＬＹ」を利用し、第１符号化単位の左側Ｘ座標、右側Ｘ座標、上部Ｙ座標及び下部Ｙ座標を得て、「ｐｃＣＵ→getSlice（）→getWidth（）」及び「ｕｉＢＰｅｌＹ＜ｐｃＣＵ→getSlice（）→getHeight（）」を利用し、現在ピクチャの横サイズ及び現在ピクチャの縦サイズを得る。

【0129】

その後、第１符号化単位の左側Ｘ座標と、現在ピクチャの横サイズとを比較し、第１符号化単位の下部Ｙ座標と、現在ピクチャの縦サイズとを比較する。第１符号化単位の左側Ｘ座標が、現在ピクチャの横サイズより大きいか、あるいは第１符号化単位の下部Ｙ座標が縦サイズより大きい場合には、「go＿next＿depth＿process（）」関数を呼び出し、次の深度、すなわち、第１符号化単位の深度「ｋ」より大きい深度「ｋ＋１」の第２符号化単位に第１符号化単位を分割し、現在ピクチャの境界を外れていない第２符号化単位だけ符号化する。

【0130】

しかし、映像符号化装置９００が、図９ないし図１３に図示されているように、現在ピクチャの境界を外れていない領域だけ符号化する場合にも、最大符号化単位のアドレスは、境界を外れた領域も符号化されたものであると仮定して設定される。図１４を参照して詳細に説明する。

【0131】

図１４は、本発明の一実施形態による最大符号化単位のインデクシング（indexing）を図示している。図１４を参照すれば、現在ピクチャ１４１０を所定サイズの最大符号化単位に分割して符号化するとき、現在ピクチャの広さ「Frame＿width」及び高さ「Frame＿height」が最大符号化単位の横サイズの倍数ではないならば、図１４のように、現在ピクチャ１４１０の右側境界及び下部境界に最大符号化単位が跨っている。

【0132】

図９ないし図１３で、本願発明の映像符号化装置９００は、境界に跨っている最大符号化単位を符号化するにあたり、現在ピクチャの境界を外れていない領域だけ符号化する。しかし、最大符号化単位のアドレスを設定するときには、「Frame＿width」及び「Frame＿height」ではない「Frame＿widthＮ」及び「Frame＿heightＮ」を基準で、最大符号化単位のアドレスを設定する。言い換えれば、現在ピクチャの右側境界及び下部境界に跨っている最大符号化単位にもアドレスを付加し、最大符号化単位のアドレスを設定する。

【0133】

例えば、最初行の最も右側に位置した最大符号化単位は、現在ピクチャの右側境界に跨っており、境界を外れていない領域だけ符号化されるが、アドレスとして「Ｐ」付加され、従って、二行目の最も左側に位置した最大符号化単位のアドレスは、「Ｐ＋１」になる。「Frame＿widthＮ」及び「Frame＿heightＮ」は、次の通り計算される。

【0134】

If Frame＿width％ＬｃｕSize not equal to ０，
Frame＿widthＮ＝（Frame＿width／ＬｃｕSize＋１）＊ＬｃｕSize
If Frame＿height％ＬｃｕSize not equal to ０，
Frame＿heightＮ＝（Frame＿height／ＬｃｕSize＋１）＊ＬｃｕSize
前記計算式で、「Frame＿width％ＬｃｕSize」は、「Frame＿width」を「ＬｃｕSize」で割った余りを意味し、「Frame＿height％ＬｃｕSize」は、「Frame＿height」を「ＬｃｕSize」で割った残りを意味する。「Frame＿width／ＬｃｕSize」は、「Frame＿width」を「ＬｃｕSize」で割った商（quotient）を意味し、「Frame＿height／ＬｃｕSize」は、「Frame＿height」を「ＬｃｕSize」で割った商を意味する。「ＬｃｕSize」は、最大符号化単位が正方形であるとき、最大符号化単位の横及び縦の大きさを意味する。

【0135】

図１５は、本発明の一実施形態による映像符号化方法について説明するためのフローチャートである。図１５を参照すれば、段階１５１０で、映像符号化装置９００は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。図１０Ａ、図１０Ｂ及び図１２Ａのように、第１符号化単位がピクチャ境界に跨っており、境界を外れた領域を含むか否かを判断する。境界を外れた領域を含むか否かを判断するために、現在ピクチャの境界と、第１符号化単位の境界とを比較する。第１符号化単位の左側または右側の境界が、現在ピクチャの左側または右側の境界を外れるか否かを判断したり、あるいは第１符号化単位の上部または下部の境界が、現在ピクチャの上部または下部の境界を外れるか否かを判断する。

【0136】

段階１５２０で、映像符号化装置９００は、段階１５１０での判断結果に基づいて、第１符号化単位を少なくとも１つの第２符号化単位に分割する。第１符号化単位の深度「ｋ」より大きい深度「ｋ＋１」の第２符号化単位に第１符号化単位を分割することができる。第２符号化単位に分割されたが、第２符号化単位がさらにピクチャ境界を外れた領域を含むと判断されれば、分割を反復し、分割の結果として生成された符号化単位が、ピクチャ境界を外れた領域を含まなくなるまで第１符号化単位を分割する。

【0137】

段階１５３０で、映像符号化装置９００は、段階１５２０での分割の結果として生成された少なくとも１つの第２符号化単位のうち、ピクチャ境界を外れていない第２符号化単位だけ選択的に符号化する。第２符号化単位を予測し、残差値を生成し、生成された残差値を、周波数変換、量子化、エントロピ符号化する。また、映像符号化装置９００は、ピクチャ境界に跨った第１符号化単位の分割は必須であるので、第１符号化単位については、分割いかんを示す情報を符号化しない。

【0138】

また、図１８Ａないし図１８Ｇと関連して述べたように、映像符号化装置９００は、第１符号化単位が境界を外れた領域を含むか否かに基づいて、符号化モードについての情報を符号化することができる。

【0139】

図１６は、本発明の一実施形態の他の映像復号化装置を図示している。図１６を参照すれば、本発明の一実施形態による映像復号化装置１６００は、判断部１６１０、パージング部１６１０及び復号化部１６２０を含む。

【0140】

判断部１６１０は、復号化しようとする第１符号化単位が、現在ピクチャの境界を外れた領域を含むか否かを判断する。以前に復号化された符号化単位に基づいて、復号化しようとする第１符号化単位が、現在ピクチャの境界を外れた領域であるか否かを判断することができる。例えば、図１４に図示された実施形態では、すぐ以前に復号化された符号化単位が「Ｐ−１」符号化単位である場合、復号化しようとする第１符号化単位は、現在ピクチャの境界に跨っており、境界を外れた領域を含んでいると判断することができる。

【0141】

言い換えれば、現在復号化される第１符号化単位の左側または右側の境界が、現在ピクチャの左側または右側の境界を外れるか否かを判断したり、または第１符号化単位の上部または下部の境界が現在ピクチャの上部または下部の境界を外れるか否かを判断し、復号化しようとする第１符号化単位が、現在ピクチャの境界に跨っているか否かを判断する。

【0142】

パージング部１６１０は、映像ビットストリームを受信し、第１符号化単位が、現在ピクチャの境界を外れた領域を含むと判断されれば、第１符号化単位を分割して生成された少なくとも１つの第２符号化単位のうち、ピクチャ境界を外れていない第２符号化単位に係わるデータだけパージングする。第２符号化単位の深度は、第１符号化単位の深度「ｋ」より大きい深度「ｋ＋１」の符号化単位であってもよい。また、第１符号化単位が、ピクチャ境界を外れた領域を含まないと判断されれば、第１符号化単位に係わるデータ全部をパージングする。

【0143】

第１符号化単位がピクチャ境界を外れた領域を含むと判断され、ピクチャ境界を外れていない第２符号化単位に係わるデータだけパージングする場合、第１符号化単位の分割いかんについての情報（例えば、フラグ情報）をパージングしないこともある。ピクチャ境界に跨った第１符号化単位の分割が必須であり、分割いかんについての情報を符号化しない場合には、パージングする情報もないので、パージングする必要がない。

【0144】

しかし、第１符号化単位がピクチャ境界を外れた領域を含むと判断され、第１符号化単位の分割が必須であるにもかかわらず、分割いかんについての情報が別途に符号化されたとすれば、符号化された分割いかんについての情報をパージングすることができる。

【0145】

ただし、残差値は、ピクチャ境界を外れていない第２符号化単位の残差値についてのみ符号化されるので、分割いかんについての情報のパージングいかんと係わりなく、第１符号化単位を分割して生成された第２符号化単位のうち、ピクチャ境界を外れていない第２符号化単位に係わるデータだけパージングする。

【0146】

復号化部１６３０は、パージング部１６２０でパージングされた現在ピクチャの境界を外れていない第２符号化単位に係わるデータを復号化する。境界を外れていない第２符号化単位に係わるデータをエントロピ復号化、逆量子化、周波数逆変換（例えば、逆離散コサイン変換）して残差値を復元し、第２符号化単位をイントラ予測またはインター予測して生成された予測値と、復元された残差値とを加算して第２符号化単位を復元する。

【0147】

復号化時に利用する符号化単位のアドレスを設定する方法は、図１４に図示されたところと同一に、復号化過程でイントラ予測のために利用できる隣接したピクセルも、図１３Ａ及び図１３Ｂに図示された通りである。

【0148】

復号化部１６３０が復号化時に利用する第１符号化単位の符号化モードについての情報は、図１８Ａないし図１８Ｇと関連して述べたように、境界を外れた領域を含むか否かに基づいて符号化された符号化モードについての情報であってもよい。

【0149】

図１７は、本発明の一実施形態による映像復号化方法について説明するためのフローチャートである。図１７を参照すれば、段階１７１０で、映像復号化装置１６００は、復号化しようとする第１符号化単位が、現在ピクチャの境界を外れた領域を含むか否かを判断する。以前に復号化された符号化単位を参照して、第１符号化単位の右側または左側境界が、現在ピクチャの右側または左側境界を外れるか否かを判断したり、あるいは第１符号化単位の上部または下部の境界が、現在ピクチャの上部または下部の境界を外れるか否かを判断する。

【0150】

段階１７２０で、映像復号化装置１６００は、段階１７１０の判断結果に基づいて、第１符号化単位を分割して生成された少なくとも１つの第２符号化単位のうち、ピクチャ境界を外れていない第２符号化単位に係わるデータをパージングする。段階１７１０で、第１符号化単位が現在ピクチャの境界を外れた領域を含んでいると判断された場合、第１符号化単位を分割して生成された第２符号化単位のうち、ピクチャ境界を外れていない第２符号化単位に係わるデータをパージングする。前述のように、第２符号化単位は、第１符号化単位の深度「ｋ」より大きい深度「ｋ＋１」の符号化単位であってもよい。

【0151】

段階１７３０で、映像復号化装置１６００は、段階１７２０でパージングされた現在ピクチャの境界を外れていない第２符号化単位に係わるデータだけ復号化する。ピクチャ境界を外れていない第２符号化単位に係わるデータをエントロピ復号化、逆量子化、周波数逆変換して残差値を復元し、予測結果として生成された予測値と加算して、第２符号化単位を復元する。

【0152】

映像復号化装置１６００が復号化時に利用する第１符号化単位の符号化モードについての情報は、図１８Ａないし図１８Ｇと関連して述べたように、境界を外れた領域を含むか否かに基づいて符号化された情報であってもよい。

【0153】

図１９は、本発明の他の実施形態による映像符号化方法について説明するためのフローチャートである。図１９を参照すれば、段階１９１０で、映像符号化装置９００は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。

【0154】

段階１９２０で、映像符号化装置９００は、段階１９１０での判断結果に基づいて、第１符号化単位を少なくとも１つの第２符号化単位に分割する。第１符号化単位の深度「ｋ」より大きい深度「ｋ＋１」の第２符号化単位で、第１符号化単位を分割することができる。

【0155】

段階１９３０で、映像符号化装置９００は、段階１９２０の分割の結果として生成された少なくとも１つの第２符号化単位の境界を外れた領域を所定の値でパッディングする。図２０Ａ及び図２０Ｂを参照して詳細に説明する。

【0156】

図２０Ａ及び図２０Ｂは、本発明の他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【0157】

映像符号化装置９００の判断部９１０が、第１符号化単位２０２０がピクチャの境界に跨っていると判断すれば、制御部９２０は、第１符号化単位２０２０をさらに小サイズ、すなわち、さらに大きい深度の第２符号化単位に分割する。しかし、第２符号化単位が最小符号化単位である場合には、制御部９２０がさらに小サイズの符号化単位に第２符号化単位を分割することができず、それ以上分割することができないために、境界を外れた領域、と外れていない領域とが符号化単位によって区分されない。

【0158】

従って、符号化部９３０は、第２符号化単位２０２４及び２０２８において、境界２０１０を外れた領域を、図２０Ｂに図示されているようにパッディングする。現在ピクチャの境界２０１０を外れた領域のピクセル値をいずれも「０」に設定したり、あるいは境界を外れた領域のピクセル値を、隣接した境界を外れていない領域のピクセル値と同一に設定する。

【0159】

再び図１９を参照すれば、段階１９４０で、映像符号化装置９００は、段階１９３０でパッディングされた領域を含む少なくとも１つの第２符号化単位を符号化する。

【0160】

映像符号化装置９００の符号化部９３０は、第２符号化単位２０２２ないし２０２８を予測して残差値を生成し、生成された残差値を周波数変換する。周波数変換して生成された周波数変換係数を、量子化し、かつエントロピ符号化を行い、第２符号化単位２０２２ないし２０２８を符号化する。

【0161】

境界２０１０に跨った第２符号化単位２０２４及び２０２８を予測するにあたり、第２符号化単位全体を予測することもでき、あるいは境界を外れていない領域だけ予測することもできる。例えば、境界２０１０に跨った第２符号化単位２０２４が８ｘ８である場合、境界を外れた領域を含む８ｘ８サイズに予測することもでき、あるいは境界を外れた領域を除外した４ｘ８サイズに予測することもできる。

【0162】

また、境界２０１０に跨った第２符号化単位２０２４及び２０２８を周波数変換するにあたり、第２符号化単位全体を周波数変換することもでき、あるいは境界を外れていない領域だけ周波数変換することもできる。

【0163】

例えば、境界２０１０に跨った最小符号化単位２０２４が８ｘ８である場合、境界を外れた領域を含む８ｘ８サイズで周波数変換を行うこともできる。周波数境界を外れた領域も予測された場合、境界を外れた領域も残差値を含むので、第２符号化単位の大きさで周波数変換を行うことができる。境界を外れた領域が予測されずに残差値のない場合には、境界を外れた領域を任意の残差値（例えば、「０」）に設定し、第２符号化単位の大きさで周波数変換を行うことができる。予測いかんと係わりなく境界を外れた領域の残差値は、意味がないので、周波数変換に最も高い効率を示す任意の値で境界を外れた領域の残差値を設定して周波数変換を行うこともできる。

【0164】

また、符号化部９３０は、境界を外れた領域を除外した４ｘ８サイズで周波数変換を行うこともできる。前述のように、本願発明によれば、符号化単位、予測単位及び変換単位の大きさがそれぞれ独立して決定されるので、最小符号化単位より小サイズの変換単位を利用し、境界を外れていない領域だけ選択的に周波数変換することができる。段階１９４０で、第２符号化単位の符号化と共に、符号化部９３０は、図１８Ａ及び図１８Ｇと関連して述べたように、第２符号化単位が境界を外れた領域を含むか否かに基づいて、符号化モードについての情報を符号化することもできる。

【0165】

図２１は、本発明の他の実施形態による映像復号化方法について説明するためのフローチャートである。

【0166】

図２１を参照すれば、段階２１１０で、映像復号化装置１６００の判断部１６１０は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。

【0167】

段階２１２０で、映像復号化装置１６００のパージング部１６２０は、段階２１１０の判断結果に基づいて、第１符号化単位を分割して生成された少なくとも１つの第２符号化単位のうちパッディングされた領域を含む少なくとも１つの第２符号化単位に係わるデータをパージングする。図２０Ａに図示されているように、第２符号化単位が最小符号化単位であり、境界に跨った場合、第２符号化単位の一部領域は、現在ピクチャの境界を外れた領域である。このような領域は、図１９と関連して述べたように、所定の値でパッディングされるが、映像復号化装置のパージング部１６２０は、このようなパッディングされた領域を含む少なくとも１つの第２符号化単位に係わるデータをパージングする。

【0168】

段階２１３０で、映像復号化装置１６００の復号化部１６３０は、段階２１２０でパージングされた第２符号化単位に係わるデータに基づいて、第２符号化単位を復号化する。パージングされた第２符号化単位に係わるデータをエントロピ復号化、逆量子化、周波数逆変換して残差値を復元し、予測結果生成された予測値と加算して、第２符号化単位を復元する。図１８Ａ及び図１８Ｇと関連して述べたように、第２符号化単位が境界を外れた領域を含むか否かに基づいて符号化された符号化モードについての情報を復号化し、復号化された符号化モードについての情報によって、第２符号化単位を復号化することができる。

【0169】

図１９と関連して前述した周波数変換のように、周波数逆変換も、第２符号化単位全体を周波数逆変換することもでき、境界を外れていない領域だけ周波数逆変換することもできる。また、予測を行うにあっても、第２符号化単位全体を予測することもでき、境界を外れていない領域だけ予測することもできる。

【0170】

図２２は、本発明のさらに他の実施形態による映像符号化方法について説明するためのフローチャートである。

【0171】

図２２を参照すれば、段階２２１０で、映像符号化装置９００の判断部９１０は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。

【0172】

段階２２２０で、映像符号化装置９００は、段階２２１０での判断結果に基づいて、第１符号化単位の境界を外れた領域を、所定の値でパッディングする。図２３Ａを参照して詳細に説明する。

【0173】

図２３Ａ及び２３Ｂは、本発明のさらに他の実施形態によるピクチャ境界の符号化単位を符号化する方法について説明するための図である。

【0174】

図２３Ａを参照すれば、映像符号化装置９００の判断部９１０が、第１符号化単位２３２０がピクチャの境界に跨っていると判断すれば、符号化部９３０は、第１符号化単位２３２０において、境界２３１０を外れた領域２３２２を、図２３Ａに図示されているようにパッディングする。現在ピクチャの境界２３１０を外れた領域のピクセル値をいずれも「０」に設定するか、あるいは境界を外れた領域のピクセル値を、隣接した境界を外れていない領域のピクセル値と同一に設定する。

【0175】

再び図２２を参照すれば、段階２２３０で、映像符号化装置９００の符号化部９３０は、段階２２２０で境界２３１０を外れた領域２３２２がパッディングされた第１符号化単位２３２０を、第１符号化単位２３２０より小サイズの第２符号化単位を利用する符号化モードで符号化する。パッディングの方法に係わる規則を、符号化側と復号化側とが共有するならば、第１符号化単位２３２０のパッディングされた領域２３２２を符号化しなくても、復号化する側でパッディングされた領域２３２２を復元することができる。従って、境界２３１０を外れていない第２符号化領域２３２４の選択的な符号化のために、映像符号化装置９００の符号化部９３０は、第１符号化単位２３２０の大きさより小サイズの第２符号化単位を利用する符号化モードで第１符号化単位２３２０を符号化する。図２３Ｂを参照して詳細に説明する。

【0176】

図２３Ｂを参照すれば、符号化部９３０は、第１符号化単位２３２０の大きさより小サイズの第２符号化単位２３２２ないし２３２８を利用する符号化モードで、第１符号化単位２３２０を符号化する。第２符号化単位を利用する符号化モードによって、第２符号化単位それぞれを予測し、予測結果として生成された残差値を周波数変換する。周波数変換の結果として生成された周波数変換係数を量子化した後、エントロピ符号化する。

【0177】

第２符号化単位それぞれを符号化するにあたり、境界を外れていない領域の第２符号化単位２３３６及び２３３８についてのみ予測を行い、予測結果に基づいて、境界を外れていない領域の第２符号化単位２３３６及び２３３８を符号化することができる。境界を外れた領域の第２符号化単位２３３２及び２３３４は、予測を行わずに、所定の値（例えば、「０」）に残差値を設定することができる。

【0178】

また、境界２３１０を外れていない領域の第２符号化単位２３３６及び２３３８に係わる動きベクトル及びピクセル値についての情報だけ符号化し、境界２３１０を外れた領域の第２符号化単位２３３２及び２３３４の動きベクトル及びピクセル値についての情報は符号化しない。ピクセル値についての情報は、第２符号化単位２３３２ないし２３３８それぞれに含まれたピクセル値を周波数変換して生成された周波数変換係数（例えば、離散コサイン係数）であってもよい。

【0179】

また段階２２３０で、符号化部９３０は、図１８Ａ及び図１８Ｇと関連して述べたように、第２符号化単位が境界を外れた領域を含むか否かということに基づいて、符号化モードについての情報を符号化することもできる。

【0180】

図２４は、本発明のさらに他の実施形態による映像復号化方法について説明するためのフローチャートである。図２４を参照すれば、段階２４１０で、映像復号化装置１６００の判断部１６１０は、第１符号化単位が現在ピクチャの境界を外れた領域を含むか否かを判断する。

【0181】

段階２４２０で、映像復号化装置１６００のパージング部１６２０は、段階２４１０の判断結果に基づいて、所定の値でパッディングされた領域を含む第１符号化単位に係わるデータをパージングする。

【0182】

パージングされるデータは、図２３Ｂの第１符号化単位２３２０において、境界２３１０を外れていない領域の第２符号化単位２３３６及び２３３８についての情報だけ含んでもよい。境界２３１０を外れていない領域の第２符号化単位２３３６及び２３３８に係わる動きベクトル及びピクセル値についての情報だけ含んでもよい。

【0183】

段階２４３０で、映像復号化装置１６００の復号化部１６３０は、段階１６２０でパージングされたデータを利用し、第１符号化単位を第１符号化単位より小サイズの第２符号化単位を利用する符号化モードによって復号化する。第２符号化単位を利用する符号化モードによって、第１符号化単位の第２符号化単位をエントロピ復号化、逆量子化、周波数逆変換及び予測して復号化する。図１８Ａ及び図１８Ｇと関連して述べたように、第２符号化単位が境界を外れた領域を含むか否かに基づいて、符号化された符号化モードについての情報を復号化し、復号化された符号化モードについての情報によって、第２符号化単位を復号化することができる。

【0184】

パージングされたデータが境界２３１０を外れていない領域の第２符号化単位２３３６及び２３３８についての情報だけ含む場合、境界２３１０を外れていない領域の第２符号化単位２３３６及び２３３８だけ第２符号化単位を利用する符号化モードによって復号化する。

【0185】

以上のように、本発明はたとえ限定された実施形態及び図面によって説明したにしても、本発明が、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能である。従って、本発明の思想は、特許請求の範囲によってのみ把握されねばならず、それと均等であるか、あるいは等価的な変形は、いずれも本発明思想の範疇に属するのである。また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。

【0186】

例えば、本発明の例示的な実施形態による映像符号化装置及び映像復号化装置は、図１、図２、図４、図５、図９及び図１６に図示されているような装置のそれぞれのユニットにカップリングされたバス、前記バスに結合された少なくとも１つのプロセッサを含んでもよい。また、命令、受信されたメッセージまたは生成されたメッセージを保存するために、前記バスに結合され、前述のような命令を遂行するための少なくとも１つのプロセッサにカップリングされたメモリを含んでもよい。

【0187】

また、コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあたり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。

【符号の説明】

【0188】

１００ 映像符号化装置
１１０ 最大符号化単位分割部
１２０ 符号化深度決定部
１３０ 映像データ符号化部
１４０ 符号化情報符号化部
２００ 映像復号化装置
２１０ 映像データ獲得部
２２０ 符号化情報抽出部
２３０ 映像データ復号化部
４００ 映像符号化部
４１０ イントラ予測部
４２０ 動き推定部
４２５ 動き補償部
４３０ 周波数変換部
４４０ 量子化部
４５０ エントロピ符号化部
４６０ 逆量子化部
４７０ 周波数逆変換部
４８０ デブロッキング部
４９０ ループ・フィルタリング部
５００ 映像復号化部
５１０ パージング部
５２０ エントロピ復号化部
５３０ 逆量子化部
５４０ 周波数逆変換部
５５０ イントラ予測部
５６０ 動き補償部
５７０ デブロッキング部
５８０ ループ・フィルタリング部
９００ 映像符号化装置
９１０ 判断部
９２０ 制御部
９３０ 符号化部
１６００ 映像復号化装置
１６１０ 判断部
１６２０ パージング部
１６３０ 復号化部

【要約】

【課題】 ピクチャ境界の符号化単位を復号化する方法及びその装置を提供する。
【解決手段】 現在符号化単位が現在ピクチャの境界を外れた領域を含まない時、ビットストリームからパージングされた分割情報が前記現在符号化単位が分割されないことを示す時前記現在符号化単位を復号化する段階と、前記現在符号化単位が前記現在ピクチャの境界を外れた領域を含むと決定されるとき、前記現在符号化単位から分割された少なくとも一つの符号化単位を決定する段階を含み、前記現在ピクチャは、複数の最大符号化単位に分割され、前記最大符号化単位は、前記分割情報によって現在深度及び下位深度のうち少なくとも一つを含む深度の符号化単位に階層的に分割され、前記分割情報が前記現在深度で分割されることを示す時、前記現在深度の前記現在符号化単位は隣接符号化単位と独立して正方形の前記下位深度の符号化単位に４分割され、前記分割情報が前記下位深度で分割されないことを示す時、一つ以上の予測単位は前記下位深度の符号化単位から獲得される、映像復号化方法。
【選択図】 図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12A】

【図12B】

【図13A】

【図13B】

【図14】

【図15】

【図16】

【図17】

【図18A】

【図18B】

【図18C】

【図18D】

【図18E】

【図18F】

【図18G】

【図19】

【図20A】

【図20B】

【図21】

【図22】

【図23A】

【図23B】

【図24】