IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧

特許7445042映像を符号化/復号する方法及びその装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】映像を符号化/復号する方法及びその装置
(51)【国際特許分類】
   H04N 19/119 20140101AFI20240228BHJP
   H04N 19/157 20140101ALI20240228BHJP
   H04N 19/176 20140101ALI20240228BHJP
   H04N 19/46 20140101ALI20240228BHJP
【FI】
H04N19/119
H04N19/157
H04N19/176
H04N19/46
【請求項の数】 4
(21)【出願番号】P 2023029158
(22)【出願日】2023-02-28
(62)【分割の表示】P 2020109922の分割
【原出願日】2016-10-10
(65)【公開番号】P2023059993
(43)【公開日】2023-04-27
【審査請求日】2023-02-28
(31)【優先権主張番号】62/334,004
(32)【優先日】2016-05-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】パク,ミン-ウ
(72)【発明者】
【氏名】ジン,ボ-ラ
(72)【発明者】
【氏名】キム,チャン-ヨル
(72)【発明者】
【氏名】ミン,ジョン-ヘ
【審査官】岩井 健二
(56)【参考文献】
【文献】特表2016-506187(JP,A)
【文献】特表2014-534734(JP,A)
【文献】特表2013-524716(JP,A)
【文献】特表2013-219806(JP,A)
【文献】国際公開第2017/123980(WO,A1)
【文献】国際公開第2014/120575(WO,A1)
【文献】国際公開第2014/120369(WO,A1)
【文献】Jianle Chen et al.,Algorithm Description of Joint Exploration Test Model 2,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: S,JVET-B1001,2016年03月,pp.1-5
【文献】Xiang Li, et al.,Multi-Type-Tree,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-D0117r1,4th Meeting: Chengdu, CN,2016年10月,pp.1-3
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
映像を復号する方法において、
ビットストリームから最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を獲得する段階と、
前記最大符号化単位の大きさに係わる情報によって前記映像を分割して複数の最大符号化単位を獲得する段階と、
前記基準符号化単位の大きさに係わる情報によって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定する段階と、
前記複数の基準符号化単位のうち、1つの基準符号化単位である第1符号化単位の分割形態情報を、前記ビットストリームから獲得する段階と、
前記第1符号化単位の分割形態情報に基づいて前記第1符号化単位を分割することで、第2符号化単位を決定する段階と、
前記第2符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第2符号化単位から1つ以上の変換ブロックを決定し、前記1つ以上の変換ブロックを用いて前記第2符号化単位を復号する段階と、を含み、
前記分割形態情報によって前記第1符号化単位を分割することで、3個の第2符号化単位が生成されるとき、前記3個の第2符号化単位のうち、中央に位置する第2符号化単位の分割形態は、前記第1符号化単位の前記分割形態情報による分割形態に相応することが許容され、
前記第1符号化単位の前記分割形態情報は、前記第1符号化単位が水平または垂直に分割されるか否か及び前記第1符号化単位が2個または3個の第2符号化単位に分割されるか否かを示すことを特徴とする映像復号方法。
【請求項2】
映像を復号する装置において、
ビットストリームから最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を獲得し、前記最大符号化単位の大きさに係わる情報によって前記映像を分割して複数の最大符号化単位を獲得し、前記基準符号化単位の大きさに係わる情報によって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定し、前記複数の基準符号化単位のうち、1つの基準符号化単位である第1符号化単位の分割形態情報を前記ビットストリームから獲得するビットストリーム獲得部と、
前記第1符号化単位の分割形態情報に基づいて前記第1符号化単位を分割することで、第2符号化単位を決定し、前記第2符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第2符号化単位から1つ以上の変換ブロックを決定し、前記1つ以上の変換ブロックを用いて前記第2符号化単位を復号する復号部を含み、
前記分割形態情報によって前記第1符号化単位を分割することで3個の第2符号化単位が生成されるとき、前記3個の第2符号化単位のうち、中央に位置する第2符号化単位の分割形態は、前記第1符号化単位の前記分割形態情報による分割形態に相応することが許容され、
前記第1符号化単位の前記分割形態情報は、前記第1符号化単位が水平または垂直に分割されるか否か前記第1符号化単位が2個または3個の第2符号化単位に分割されるか否かを示すことを特徴とする映像復号装置。
【請求項3】
映像を符号化する方法において、
最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を生成する段階と、
前記最大符号化単位の大きさによって前記映像を分割して複数の最大符号化単位を決定する段階と、
前記基準符号化単位の大きさによって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定する段階と、
前記複数の基準符号化単位のうち、1つの基準符号化単位である第1符号化単位を水平または垂直に分割し、前記第1符号化単位を2個または3個の第2符号化単位に分割することで、前記第1符号化単位から第2符号化単位を生成する段階と、
前記第2符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第2符号化単位から1つ以上の変換ブロックを決定し、前記1つ以上の変換ブロックを用いて前記第2符号化単位を符号化する段階と、
前記第1符号化単位が水平または垂直に分割されるか否か及び前記第1符号化単位が2個または3個の第2符号化単位に分割されるか否かを示すための前記第1符号化単位の分割形態情報を含むビットストリームを生成する段階と、を含み、
前記第1符号化単位を分割することで、3個の第2符号化単位が生成されるとき、前記3個の第2符号化単位のうち、中央に位置する第2符号化単位の分割形態は、前記第1符号化単位の分割形態情報による分割形態に相応することが許容されることを特徴とする映像符号化方法。
【請求項4】
映像を符号化する装置において、
最大符号化単位の大きさに係わる情報及び基準符号化単位の大きさに係わる情報を生成し、前記最大符号化単位の大きさによって前記映像を分割して複数の最大符号化単位を決定し、前記基準符号化単位の大きさによって、前記複数の最大符号化単位のうち、現在最大符号化単位の幅及び高さを分割することにより、複数の基準符号化単位を決定し、前記複数の基準符号化単位のうち、1つの基準符号化単位である第1符号化単位を水平または垂直に分割し、前記第1符号化単位を2個または3個の第2符号化単位で分割することで、前記第1符号化単位から第2符号化単位を生成し、前記第2符号化単位のうち、現在符号化単位がさらに小さい符号化単位に分割されないとき、現在第2符号化単位から1つ以上の変換ブロックを決定し、前記1つ以上の変換ブロックを用いて前記第2符号化単位を符号化する符号化部と、
前記第1符号化単位が水平または垂直に分割されるか否か、及び前記第1符号化単位が2個または3個の第2符号化単位に分割されるか否かを示すための前記第1符号化単位の分割形態情報を含むビットストリームを生成するビットストリーム生成部を含み、
前記第1符号化単位を分割することで3個の第2符号化単位が生成されるとき、前記3個の第2符号化単位のうち、中央に位置する第2符号化単位の分割形態は、前記第1符号化単位の分割形態情報による分割形態に相応することが許容されることを特徴とする映像符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像に含まれる多様なデータ単位を利用して、映像を符号化または復号することができる装置及びその方法に関する。
【背景技術】
【0002】
映像データは、所定のデータ圧縮標準、例えば、MPEG(Moving Picture Experts Group)標準によるコーデック(codec)によって符号化された後、ビットストリーム形態で記録媒体に保存されたり、通信チャネルを介して伝送されたりする。
【0003】
高解像度または高画質映像のコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質映像のコンテンツを効果的に符号化または復号するコーデックの必要性が増大している。符号化された映像コンテンツは、復号されることによって再生される。最近では、そのような高解像度または高画質映像のコンテンツを効果的に圧縮するための方法が実施されている。例えば、符号化しようとする映像を任意的方法で処理する過程を介した効率的映像圧縮方法が実施されている。
【0004】
映像を圧縮するために、多様なデータ単位が利用され、そのようなデータ単位間に包含関係が存在することができる。そのような映像圧縮に利用されるデータ単位の大きさを決定するために、多様な方法によってデータ単位が分割され、映像の特性によって最適化されたデータ単位が決定されることにより、映像の符号化または復号が行われる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の圧縮方式の場合、ピクチャに含まれる符号化単位の大きさを決定する過程において、分割するか否かということを決定した後、画一的に4個の同一サイズの符号化単位に分割する再帰的分割過程を介して、正方形の符号化単位を決定した。
【0006】
しかし、最近、高解像度の映像に対する需要が急増し、映像再生に必要なデータ量が多くなる状況において、効率的な映像符号化過程及び映像復号過程を遂行することを要すると共に、正方形という画一的な形態の符号化単位利用によって引き起こされる復元映像の画質劣化が問題になっている。
【課題を解決するための手段】
【0007】
一実施形態による、映像を復号する方法において、ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階、獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階、並びに前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する段階を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法が提供されもする。
【0008】
一実施形態による、映像を復号する装置において、ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部、並びに獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する復号部を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置が提供されもする。
【0009】
一実施形態による、映像を符号化する方法において、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階、並びに前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化する段階を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法が提供されもする。
【0010】
一実施形態による、映像を符号化する装置において、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部、並びに前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化する符号化部を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置が提供されもする。
【発明の効果】
【0011】
多様な形態の符号化単位を、映像の符号化及び復号過程で利用することができることにより、映像の特性に適応的な符号化単位を利用することができ、それにより、効率的な映像符号化及び映像復号が可能であり、復元映像の画質向上が可能である。
【図面の簡単な説明】
【0012】
図1】一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を復号することができる映像復号装置のブロック図を図示する図面である。
図2】一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を符号化することができる映像符号化装置のブロック図を図示する図面である。
図3】一実施形態によって現在符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
図4】一実施形態によって非正方形の形態である符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
図5】一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて符号化単位が分割される過程を図示する図面である。
図6】一実施形態によって、奇数個の符号化単位のうち所定の符号化単位が決定される方法を図示する図面である。
図7】一実施形態によって現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。
図8】一実施形態によって、所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されると決定される過程を図示する図面である。
図9】一実施形態によって第1符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
図10】一実施形態によって第1符号化単位が分割されて決定された非正方形状の第2符号化単位が所定条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する図面である。
図11】一実施形態によって、分割形態情報が4個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。
図12】一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なることを図示した図面である。
図13】一実施形態によって符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。
図14】一実施形態によって、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する図面である。
図15】一実施形態によって、ピクチャに含まれる複数個の所定のデータ単位によって複数個の符号化単位が決定されたことを図示する図面である。
図16】一実施形態によって、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。
図17】一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する図面である。
図18】一実施形態によってバイナリー(binary)コードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する図面である。
図19】一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の他の形態を図示する図面である。
図20】ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。
図21】一実施形態による、最大符号化単位に含まれるフィルタリング単位の一例と、フィルタリング単位のフィルタリング遂行情報とを示した図面である。
図22】一実施形態によって、所定の符号化方法によって決定された符号化単位間の併合(merge)または分割(split)が行われる過程を図示する図面である。
図23】一実施形態による、符号化単位のZスキャン順序によるインデックスを図示する図面である。
図24】一実施形態による、符号化単位のイントラ予測のための参照サンプルを示す図面である。
【発明を実施するための形態】
【0013】
一実施形態による、映像を復号する方法において、ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階、獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階、並びに前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する段階を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法が提供されもする。
【0014】
一実施形態による映像復号方法の前記少なくとも1つの第2符号化単位を決定する段階は、前記ブロック形態情報に基づいて、前記第1符号化単位は、正方形または非正方形のうちいずれの形態を示すかということを決定する段階、及び決定された前記第1符号化単位の形態に基づいて、前記少なくとも1つの第2符号化単位を決定する段階を含んでもよい。
【0015】
一実施形態による映像復号方法の前記少なくとも1つの第2符号化単位を決定する段階は、前記分割形態情報に基づいて、複数種類の大きさを有する複数個の第2符号化単位を決定する段階を含むことを特徴とすることができる。
【0016】
一実施形態による映像復号方法の前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階は、前記第1符号化単位に含まれた所定位置のサンプルに係わるビットストリームから、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階を含むことを特徴とすることができる。
【0017】
一実施形態による映像復号方法は、前記少なくとも1つの第2符号化単位のうち所定の第2符号化単位を決定し、前記所定の第2符号化単位に対する分割回数を制限し、前記映像を復号する段階をさらに含んでもよい。
【0018】
一実施形態による映像復号方法において、前記映像を復号する段階は、前記複数個の第2符号化単位のうち所定位置にある第2符号化単位を決定し、前記所定の第2符号化単位に対する分割回数の制限を置き、前記映像を復号する段階を含むことを特徴とすることができる。
【0019】
一実施形態による映像復号方法において、前記映像を復号する段階は、前記少なくとも1つの第2符号化単位のうち、前記所定位置のサンプルが含まれた第2符号化単位を決定する段階、及び前記決定された第2符号化単位に対する分割回数を制限し、前記映像を復号する段階を含むことを特徴とすることができる。
【0020】
一実施形態による映像復号方法は、最大符号化単位の幅及び高さを分割して基準符号化単位を決定する段階、並びに前記基準符号化単位を、前記第1符号化単位として決定する段階をさらに含むことを特徴とすることができる。
【0021】
一実施形態による映像復号方法は、少なくとも1つの最大符号化単位を含む少なくとも1つのプロセッシングブロックにより、前記映像を分割する段階をさらに含み、前記少なくとも1つのプロセッシングブロックに含まれた前記少なくとも1つの最大符号化単位の処理順序は、プロセッシングブロックによって異なりうることを特徴とすることができる。
【0022】
一実施形態による映像復号方法において、前記少なくとも1つの第2符号化単位を決定する段階は、前記第1符号化単位に係わる前記分割形態情報が垂直方向及び水平方向に分割されることを示すことができる場合、前記第1符号化単位を垂直方向または水平方向に分割し、複数の第2符号化単位を決定する段階を含み、前記複数の第2符号化単位は、前記第1符号化単位が分割された方向に直交する方向に、前記複数の第2符号化単位がいずれも分割されるものではないことを特徴とすることができる。
【0023】
一実施形態による映像復号方法は、前記第1符号化単位、及び前記少なくとも1つの第2符号化単位の長辺長に基づいて、それぞれの符号化単位の深度を決定する段階をさらに含むことを特徴とすることができる。
【0024】
一実施形態による映像復号方法は、前記少なくとも1つの第2符号化単位のうち一つが分割されて決定される少なくとも1つの第3符号化単位の処理順序は、前記少なくとも1つの第3符号化単位に係わる第2符号化単位が分割された形態に基づいて決定されうることを特徴とすることができる。
【0025】
一実施形態による映像を復号する装置において、ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部、並びに獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する復号部を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置が提供されもする。
【0026】
一実施形態による映像を符号化する方法において、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階、並びに前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化する段階を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法が提供されもする。
【0027】
一実施形態による映像を符号化する装置において、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部、並びに前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化する符号化部を含み、前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置が提供されもする。
【0028】
本発明の利点及び特徴、並びにそれらを達成する方法は、添付される図面と共に後述されている実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、ただし、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるのである。
【0029】
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
【0030】
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、関連分野に携わる当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたる内容を基に定義されなければならない。
【0031】
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
【0032】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア構成要素、FPGA(field-programmable gate array)またはASIC(application specific integrated circuit)のようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されもし、1またはそれ以上のプロセッサを再生させるように構成されもする。従って、一例として「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」において提供される機能は、さらに少ない数の構成要素、及び「部」に結合されるか、あるいはさらなる構成要素と「部」とにさらに分離されもする。
【0033】
以下、「映像」は、ビデオの静止映像のような静的イメージや、動画、すなわち、ビデオ自体のような動的イメージを示すことができる。
【0034】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像におけるピクセル値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
【0035】
以下では、添付した図面を参照し、本発明の実施形態について、本発明が属する技術分野における当業者が、容易に実施することができるように詳細に説明する。そして、図面において、本発明を明確に説明するために、説明と関係ない部分は、省略する。
【0036】
図1は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を復号することができる映像復号装置100のブロック図を図示する。
【0037】
図1を参照すれば、映像復号装置100は、一実施形態によって、ビットストリームから、分割形態情報、ブロック形態情報のような所定情報を獲得するためのビットストリーム獲得部110、獲得した情報を利用して映像を復号するための復号部120を含んでもよい。一実施形態によって、映像復号装置100のビットストリーム獲得部110において、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得した場合、映像復号装置100の復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を分割する少なくとも1つの符号化単位を決定することができる。
【0038】
一実施形態によって、映像復号装置100の復号部120は、ブロック形態情報に基づいて、符号化単位の形態を決定することができる。例えば、該ブロック形態情報は、符号化単位が正方形であるか、あるいは非正方形であるかということを示す情報を含んでもよい。復号部120は、ブロック形態情報を利用し、符号化単位の形態を決定することができる。
【0039】
一実施形態によって、復号部120は、分割形態情報に基づいて、符号化単位がいかなる形態に分割されるかということを決定することができる。例えば、該分割形態情報は、符号化単位に含まれる少なくとも1つの符号化単位の形態に係わる情報を示すことができる。
【0040】
一実施形態によって、復号部120は、分割形態情報によって、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。該分割形態情報は、符号化単位に含まれる少なくとも1つの符号化単位に係わる情報を含んでもよく、もし分割形態情報が、符号化単位に1つの符号化単位だけが含まれるということを示すか、あるいは分割されないことを示す場合、復号部120は、該分割形態情報を含む符号化単位が分割されないと決定することができる。該分割形態情報が、符号化単位が、複数個の符号化単位に分割されるということを示す場合、復号部120は、該分割形態情報に基づいて、符号化単位に含まれる複数個の符号化単位に分割することができる。
【0041】
一実施形態によって、該分割形態情報は、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示すことができる。例えば、該分割形態情報は、垂直方向及び水平方向のうち少なくとも1つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
【0042】
図3は、一実施形態によって、映像復号装置100が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0043】
一実施形態によって、復号部120は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、該分割形態情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、復号部120が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定されうる。
【0044】
一実施形態により、復号部120は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、復号部120は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するかというようなことを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形状を示す場合、復号部120は、分割されないということを示す分割形態情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位310b,310c,310dを決定することができる。
【0045】
図3を参照すれば、復号部120は、一実施形態によって、垂直方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。復号部120は、水平方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。復号部120は、垂直方向及び水平方向に分割されるということを示す分割形態情報に基づいて、現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下で、多様な実施形態を介して具体的に説明する。
【0046】
図4は、一実施形態によって、映像復号装置100が非正方形状である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0047】
一実施形態によって、復号部120は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。復号部120は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形状を示す場合、復号部120は、分割されないということを示す分割形態情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で多様な実施形態を介して具体的に説明する。
【0048】
一実施形態によって、復号部120は、分割形態情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。図4を参照すれば、該分割形態情報が、2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、復号部120は、分割形態情報に基づいて、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができる。
【0049】
一実施形態によって、復号部120が分割形態情報に基づいて、非正方形状の現在符号化単位400または450を分割する場合、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、復号部120は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
【0050】
一実施形態により、分割形態情報が、奇数個のブロックに符号化単位を分割することを示す場合、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が、3個の符号化単位に現在符号化単位400または450を分割することを示す場合、復号部120は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480に分割することができる。一実施形態によって、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではない。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480のうち所定符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480がそれぞれ互いに異なる大きさを有することもできる。
【0051】
一実施形態によって、分割形態情報が、奇数個のブロックに符号化単位が分割されることを示す場合、復号部120は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには復号部120は、分割して生成される奇数個の符号化単位のうち少なくとも1つの符号化単位に対して所定の制限を置くことができる。図4を参照すれば、復号部120は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480のうち中央に位置する符号化単位430b、480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異なるようにすることができる。例えば、復号部120は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定回数ほど分割されるように制限することができる。
【0052】
図5は、一実施形態によって、映像復号装置100がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
【0053】
一実施形態によって、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、該分割形態情報が、水平方向に第1符号化単位500を分割することを示す場合、復号部120は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態によって利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下で利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるものであると理解される。
【0054】
一実施形態によって、映像復号装置100は、決定された第2符号化単位510を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500を分割して決定された非正方形状の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しない。映像復号装置100のビットストリーム獲得部110は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、復号部120は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500が分割された方式によって分割されうる。
【0055】
一実施形態により、第1符号化単位500が、第1符号化単位500に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第3符号化単位520a,520b,520c,520dに分割されうる。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割されうる。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dのうち所定符号化単位(例えば、真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的に分割されうる。一実施形態によって、奇数個の第3符号化単位520b,520c,520dのうち一つである正方形状の第3符号化単位520cは、水平方向に分割され、複数個の第4符号化単位に分割されうる。複数個の第4符号化単位のうち一つである非正方形状の第4符号化単位540は、さらに複数個の符号化単位に分割されうる。例えば、非正方形状の第4符号化単位540は、奇数個の符号化単位550a,550b,550cにさらに分割されもする。
【0056】
符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【0057】
一実施形態によって、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第3符号化単位520a,520b,520c,520dそれぞれを符号化単位に分割するか、あるいは第2符号化単位510を分割しないと決定することができる。復号部120は、一実施形態によって、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち所定の第3符号化単位に対して所定の制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cは、それ以上分割されないか、所定分割形態に分割(例えば、4個の符号化単位にだけ分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割する)されるように制限するか、あるいは所定回数にだけ分割(例えば、n回だけ分割する(n>0))するように制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、他の符号化単位520b,520dと異なるように復号されたりするような多様な制限を含むものであると解釈されなければならない。
【0058】
一実施形態によって、映像復号装置100は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
【0059】
図6は、一実施形態によって、復号部120が、奇数個の符号化単位のうち所定の符号化単位を決定するための方法を図示する。図6を参照すれば、現在符号化単位600のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位600に含まれる複数個のサンプルのうち所定位置のサンプル(例えば、真ん中に位置するサンプル640)からも獲得される。ただし、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位600内の所定位置が、図6で図示する真ん中位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれてもよいと解釈されなければならない。映像復号装置100は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
【0060】
一実施形態によって、映像復号装置100は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法についての説明は、以下の多様な実施形態を介して後述する。
【0061】
一実施形態によって、映像復号装置100の復号部120は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【0062】
図6は、一実施形態によって、映像復号装置100が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
【0063】
一実施形態によって、復号部120は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、復号部120は、現在符号化単位600を分割し、奇数個の符号化単位620a,620b,620cを決定することができる。復号部120は、奇数個の符号化単位620a,620b,620cの位置に係わる情報を利用し、真ん中符号化単位620bを決定することができる。例えば、復号部120は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、復号部120は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
【0064】
一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値を示す符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
【0065】
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち真ん中に位置する符号化単位として決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには上端符号化単位620aの左側上端のサンプル630aの位置を基準で、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法として解釈されなければならない。
【0066】
一実施形態によって、映像復号装置100は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定基準により、符号化単位を選択することができる。例えば、復号部120は、符号化単位620a,620b,620cにおいて、大きさが異なる符号化単位620bを選択することができる。
【0067】
一実施形態によって、映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。
【0068】
一実施形態により、映像復号装置100は、上端符号化単位620aの幅をxb-xaと決定することができ、高さをyb-yaと決定することができる。一実施形態によって、復号部120は、真ん中符号化単位620bの幅をxc-xbと決定することができ、高さをyc-ybと決定することができる。一実施形態によって、復号部120は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さとを利用して決定することができる。復号部120は、決定された符号化単位620a,620b,620cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する1つの符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位として決定することができる。ただし、前述の映像復号装置100が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【0069】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
【0070】
一実施形態によって、映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、復号部120は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、復号部120は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、復号部120は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、復号部120は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
【0071】
一実施形態によって、映像復号装置100は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。復号部120は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち所定位置(例えば、真ん中位置)の符号化単位を決定する過程に類似した過程でもあるので、省略する。
【0072】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置100の復号部120は、現在符号化単位が、複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
【0073】
図6を参照すれば、映像復号装置100の復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち真ん中に位置する符号化単位620bを決定することができる。さらには、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位600の真ん中に位置するサンプル640で獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位600が複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位として決定することができる。ただし、真ん中に位置する符号化単位として決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が真ん中に位置する符号化単位を決定する過程において利用される。
【0074】
一実施形態によって、所定位置の符号化単位を識別するための所定情報は、決定しようとする符号化単位に含まれる所定のサンプルからも獲得される。図6を参照すれば、復号部120は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、復号部120は、現在符号化単位600のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、復号部120は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cのうち、所定情報(例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ)が獲得されるサンプルが含まれた符号化単位620bを決定し、所定制限を置くことができる。図6を参照すれば、一実施形態によって、復号部120は、所定情報が獲得されるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、復号部120は、そのようなサンプル640が含まれる符号化単位620bに対して、復号過程での所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定しようとする符号化単位620bに含まれる任意位置のサンプルと解釈される。
【0075】
一実施形態によって、所定情報が獲得されるサンプルの位置は、現在符号化単位600の形態によって決定されうる。一実施形態によって、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によって所定情報が獲得されるサンプルの位置を決定することができる。例えば、復号部120は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用して、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルと決定することができる。他の例を挙げれば、復号部120は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルと決定することができる。
【0076】
一実施形態によって、映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態によって、ビットストリーム獲得部110は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、復号部120は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用し、分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割されうる。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略する。
【0077】
一実施形態によって、映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定ブロック(例えば、現在符号化単位)によって決定することができる。
【0078】
図7は、一実施形態によって、映像復号装置100が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【0079】
一実施形態によって、復号部120は、ブロック形態情報及び分割形態情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
【0080】
図7を参照すれば、復号部120は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bが水平方向710cに処理されるように順序を決定することができる。映像復号装置100は、第1符号化単位700を水平方向に分割して決定された第2符号化単位730a,730bの処理順序、を垂直方向730cに決定することができる。映像復号装置100は、第1符号化単位700を、垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序(例えば、ラスタースキャン順序(raster scan order)またはzスキャン順序(z scan order)750eによって決定することができる。
【0081】
一実施形態によって、映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、復号部120は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に類似した方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立して複数個の符号化単位に分割されうる。図7を参照すれば、復号部120は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
【0082】
一実施形態によって、復号部120は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しない。
【0083】
一実施形態によって、符号化単位の処理順序は、符号化単位の分割過程に基づいて決定されうる。言い換えれば、分割された符号化単位の処理順序は、分割される前の符号化単位の処理順序に基づいて決定されうる。復号部120は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向720cにも処理される。また、左側の第2符号化単位710a及び右側の第2符号化単位710bが処理される順序は、水平方向710cに該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが垂直方向720cに処理された後、右側符号化単位710bが処理される。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって、独立して処理される多様な方法に利用されると解釈されなければならない。
【0084】
図8は、一実施形態によって、映像復号装置100が、所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるということを決定する過程を図示する。
【0085】
一実施形態によって、映像復号装置100は、ビットストリーム獲得部110が獲得したブロック形態情報及び分割形態情報に基づいて、現在符号化単位が奇数個の符号化単位に分割されるということを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bに分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d,820eに分割されうる。一実施形態によって、復号部120は、第2符号化単位のうち左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。
【0086】
一実施形態によって、復号部120は、第3符号化単位820a,820b,820c,820d,820eが、所定順序によって処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、復号部120は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態のうち奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bのうち右側に位置する符号化単位が奇数個の第3符号化単位820c,820d,820eに分割されうる。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定順序(例えば、zスキャン順序830)にもなり、復号部120は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。
【0087】
一実施形態によって、映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界に沿って、第2符号化単位810a,810bの幅及び高さのうち少なくとも一つが半分に分割されるか否かということに係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、条件を満足するが、右側第2符号化単位810bを、3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないと決定され、映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0088】
図9は、一実施形態によって、映像復号装置100が、第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程を図示する。一実施形態によって、復号部120は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、ブロック形態情報が、第1符号化単位900は、正方形であるということを示し、分割形態情報が非正方形の符号化単位に分割されるということを示す場合、復号部120は、第1符号化単位900を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第1符号化単位900を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、復号部120は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
【0089】
一実施形態によって、復号部120は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界に沿って、第1符号化単位900の幅及び高さのうち少なくとも一つが半分に分割されるか否かということに係わる。図9を参照すれば、正方形状の第1符号化単位900を垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によって処理される条件を満足することができないと決定されうる。また、正方形状の第1符号化単位900を水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定順序によって処理される条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づいて、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態によって、映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0090】
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【0091】
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を、多様な形態の符号化単位に分割することができる。
【0092】
図10は、一実施形態によって、映像復号装置100によって、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が所定条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する。
【0093】
一実施形態によって、復号部120は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第1符号化単位1000を、非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立して分割されうる。それにより、復号部120は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、復号部120は、垂直方向に第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、復号部120は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に水平方向に分割されることがないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定されうる。しかし、それは、復号部120がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面で非効率的である。
【0094】
一実施形態によって、復号部120は、水平方向に、第1符号化単位900が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、復号部120は、第2符号化単位のうち一つ(例えば、上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に垂直方向に分割されることがないように制限することができる。
【0095】
図11は、一実施形態によって、分割形態情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置100が、正方形状の符号化単位を分割する過程を図示する。
【0096】
一実施形態によって、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。該分割形態情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態情報によれば、復号部120は、正方形状の第1符号化単位1100を、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。該分割形態情報に基づいて、復号部120は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
【0097】
一実施形態によって、復号部120は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bをそれぞれ独立して分割することができる。再帰的な方法を介して、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位1100が分割される方法に類似した分割方法でもある。
【0098】
例えば、復号部120は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、復号部120は、左側第2符号化単位1110a及び右側第2符号化単位1110bがいずれも水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0099】
他の例を挙げれば、復号部120は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、復号部120は、上端第2符号化単位1120a及び下端第2符号化単位1120bがいずれも垂直方向に分割され、正方形状の第3符号化単位1122a,1122b,1124a,1124bを決定することもできる。そのような場合、第1符号化単位1100が4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0100】
図12は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なることを図示したものである。
【0101】
一実施形態によって、復号部120は、ブロック形態情報及び分割形態情報に基づいて、第1符号化単位1200を分割することができる。該ブロック形態情報が正方形状を示し、該分割形態情報が、第1符号化単位1200が水平方向及び垂直方向のうち少なくとも1つの方向に分割されるということを示す場合、復号部120は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220b,1230a,1230b,1230c,1230dを決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立して分割されうる。例えば、復号部120は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図10と係わって説明したので、詳細な説明は、省略する。
【0102】
一実施形態によって、復号部120は、所定順序によって符号化単位を処理することができる。該所定順序による符号化単位の処理に係わる特徴は、図7と係わって説明したので、詳細な説明は、省略する。図12を参照すれば、復号部120は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態によって、復号部120は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
【0103】
一実施形態によって、復号部120は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、復号部120は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216bを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216c,1216dを垂直方向に処理する順序1217により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
【0104】
一実施形態によって、復号部120は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、復号部120は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序1227により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
【0105】
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位に、第1符号化単位1200が分割された結果になる。それにより、復号部120は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
【0106】
図13は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【0107】
一実施形態によって、復号部120は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。復号部120は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長に対し、2(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度より、nほど深度が増大したと決定することができる。以下では、深度が増大した符号化単位を、下位深度の符号化単位と表現する。
【0108】
図13を参照すれば、一実施形態によって、正方形状であることを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示すことができる)に基づいて、復号部120は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/2倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/2倍である第3符号化単位1304の深度は、D+2でもある。
【0109】
一実施形態によって、非正方形状を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「1:NS_VER」または幅が高さより大きい非正方形であることを示す「2:NS_HOR」を示すことができる)に基づいて、復号部120は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324などを決定することができる。
【0110】
復号部120は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することができる。すなわち、復号部120は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302、またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
【0111】
一実施形態によって、復号部120は、2NxNサイズの第1符号化単位1320の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1302,1312,1322を決定することもできる。すなわち、復号部120は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
【0112】
一実施形態によって、復号部120は、NxNサイズの第2符号化単位1302の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1302を、垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/2xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/2サイズの第3符号化単位1324を決定することができる。
【0113】
一実施形態によって、復号部120は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/2サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1314を決定することができる。
【0114】
一実施形態によって、復号部120は、NxN/2サイズの第2符号化単位1314の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1304,1314,1324を決定することもできる。すなわち、復号部120は、第2符号化単位1312を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1324を決定することができる。
【0115】
一実施形態によって、復号部120は、例えば、正方形状の符号化単位1300,1302,1304を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態によって、深度が符号化単位の最長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300,1302または1304が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300,1302または1304の深度と同一である。
【0116】
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/2倍に該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1314の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/2倍である第3符号化単位1314または1324の深度は、D+2でもある。
【0117】
図14は、一実施形態によって、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックスを図示する。
【0118】
一実施形態によって、復号部120は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、復号部120は、分割形態情報により、第1符号化単位1400を垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、復号部120は、第1符号化単位1400に係わる分割形態情報に基づいて、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
【0119】
一実施形態によって、正方形状の第1符号化単位1400に係わる分割形態情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第1符号化単位1400の一辺長と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺長とが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dとして同一であると見られる。それに対し、復号部120が分割形態情報に基づいて、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺長は、第1符号化単位1400の一辺長の1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位であるD+1の深度でもある。
【0120】
一実施形態によって、復号部120は、高さが幅より大きい形態の第1符号化単位1410を、分割形態情報によって水平方向に分割し、複数個の第2符号化単位412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態によって、復号部120は、幅が高さより大きい形態の第1符号化単位1420を、分割形態情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
【0121】
一実施形態によって、非正方形状の第1符号化単位1410または1420に係わる分割形態情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1416a,1416b,1416c,1416dは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第2符号化単位1412a,1412bの一辺長は、高さが幅より大きい非正方形状の第1符号化単位1410の一辺長の1/2倍であるので、正方形状の第2符号化単位1402a,1402b,1404a,1404bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度であるD+1である。
【0122】
さらには、復号部120が分割形態情報に基づいて、非正方形状の第1符号化単位1410を奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含んでもよい。その場合、非正方形状の第2符号化単位1414a,1414cの長辺長、及び正方形状の第2符号化単位1414bの一辺長は、第1符号化単位1410の一辺長の1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位であるD+1の深度でもある。復号部120は、第1符号化単位1410に係わる符号化単位の深度を決定する前記方式に類似した方式で、幅が高さより大きい非正方形状の第1符号化単位1420に係わる符号化単位の深度を決定することができる。
【0123】
一実施形態によって、復号部120は、分割された符号化単位の区分のためのインデックス決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいて、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含んでもよい。従って、スキャン順序によって真ん中に位置する符号化単位1414bのインデックスが1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。すなわち、インデックス値の不連続性が存在する。一実施形態によって、復号部120は、そのような分割された符号化単位間区分のためのインデックス不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
【0124】
(PIDを利用してのtri-split決定)
一実施形態によって、映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックスを利用することができる。一実施形態によって、PIDは、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)からも獲得される。
【0125】
一実施形態によって、映像復号装置100は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態によって、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態情報が、3個の符号化単位に分割されるということを示す場合、映像復号装置100は、第1符号化単位1410を、3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態によって、映像復号装置100は、分割された符号化単位区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比率に基づいて、インデックスが決定される。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックスが1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増加した3でもある。そのような場合のように、均一にインデックスが増加し、増加幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態によって、分割形態情報が、奇数個の符号化単位に分割されるということを示す場合、映像復号装置100は、奇数個の符号化単位のうち所定位置の符号化単位(例えば、真ん中符号化単位)が異なる符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックスを利用して、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定しようとする所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであり、それらに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
【0126】
一実施形態によって、復号部120は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
【0127】
図15は、一実施形態によって、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたところを図示する。
【0128】
一実施形態によって、所定のデータ単位は、符号化単位がブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下では、説明上、便宜のために、そのような所定データ単位を基準データ単位と称する。
【0129】
一実施形態によって、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一であってもよく、2の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形状を示すことができ、その後、整数個の符号化単位に分割されうる。
【0130】
一実施形態によって、映像復号装置100の復号部120は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態によって、復号部120は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。そのような基準データ単位の分割過程は、四分木(quad-tree)構造を利用した分割過程に対応する。
【0131】
一実施形態によって、復号部120は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、復号部120は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用して、少なくとも1つの符号化単位を決定することができる。
【0132】
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態によって、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、最大符号化単位によって決定されうる。
【0133】
一実施形態によって、映像復号装置100のビットストリーム獲得部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略する。
【0134】
一実施形態によって、復号部120は、所定条件に基づいて事前に決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部110は、ビットストリームから、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など)のうち所定条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。復号部120は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとにビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスと係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、復号部120は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【0135】
一実施形態によって、復号部120は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定されうる。一実施形態によって、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍に該当する。一実施形態によって、基準符号化単位の大きさは、最大符号化単位を四分木構造によって、n回分割した大きさでもある。すなわち、復号部120は、最大符号化単位を、四分木構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。
【0136】
図16は、一実施形態によって、ピクチャ1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【0137】
一実施形態によって、復号部120は、ピクチャを分割する少なくとも1つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順に決定されうる。すなわち、それぞれのプロセッシングブロックで決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン(raster scan)、Zスキャン(Z-scan)、Nスキャン(N-scan)、右上向対角スキャン(up-right diagonal scan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)など多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。
【0138】
一実施形態によって、復号部120は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。復号部120は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【0139】
一実施形態によって、映像復号装置100のビットストリーム獲得部110は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位として、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部110は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、復号部120は、獲得されたプロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも1つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【0140】
一実施形態によって、復号部120は、ピクチャ1600に含まれるプロセッシングブロック1602,1612の大きさを決定することができる。例えば、復号部120は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図16を参照すれば、復号部120は、一実施形態によって、プロセッシングブロック1602,1612の横サイズを基準符号化単位横サイズの4倍、縦サイズを基準符号化単位の縦サイズの4倍に決定することができる。復号部120は、少なくとも1つのプロセッシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
【0141】
一実施形態により、復号部120は、プロセッシングブロックの大きさに基づいて、ピクチャ1600に含まれるそれぞれのプロセッシングブロック1602,1612を決定することができ、基準符号化単位決定部12は、プロセッシングブロック1602,1612に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態によって、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
【0142】
一実施形態によって、復号部120は、ビットストリームから、少なくとも1つのプロセッシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも1つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定されうる。
【0143】
一実施形態によって、映像復号装置100は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部110は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、該決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
【0144】
映像復号装置100は、一実施形態によって、決定された順序に基づいて、少なくとも1つの基準符号化単位を決定することができる。
【0145】
一実施形態によって、ビットストリーム獲得部110は、ビットストリームから、プロセッシングブロック1602,1612に係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、復号部120は、前記プロセッシングブロック1602,1612に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ1600に含まれる少なくとも1つの基準符号化単位を決定することができる。図16を参照すれば、復号部120は、それぞれのプロセッシングブロック1602,1612と係わる少なくとも1つの基準符号化単位の決定順序1604,1614を決定することができる。例えば、基準符号化単位の決定順序に係わる情報がプロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック1602,1612に係わる基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロック1602に係わる基準符号化単位決定順序1604がラスタースキャン順序である場合、プロセッシングブロック1602に含まれる基準符号化単位は、ラスタースキャン順序によって決定されうる。それに対し、他のプロセッシングブロック1612に係わる基準符号化単位決定順序1614がラスタースキャン順序の逆順である場合、プロセッシングブロック1612に含まれる基準符号化単位は、ラスタースキャン順序の逆順によって決定されうる。
【0146】
復号部120は、一実施形態により、決定された少なくとも1つの基準符号化単位を復号することができる。復号部120は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。該基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
【0147】
一実施形態によって、映像復号装置100は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を、ビットストリームから獲得して利用することができる。該ブロック形態情報または該分割形態情報は、多様なデータ単位に係わるビットストリームに含まれてもよい。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)に含まれたブロック形態情報または分割形態情報を利用することができる。さらには、映像復号装置100は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態情報に係わるシンタックスをビットストリームから獲得して利用することができる。
【0148】
一実施形態によって、復号部120は、符号化単位が分割されうる分割形態の種類を、所定データ単位ごとに異なるように決定することができる。映像復号装置100の復号部120は、一実施形態によって、所定データ単位(例えば、シーケンス、ピクチャ、スライスなど)ごとに符号化単位が分割されうる形態の組み合わせを異ならせて決定することができる。
【0149】
図17は、一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
【0150】
図17を参照すれば、復号部120は、ピクチャごとに、符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、復号部120は、映像に含まれる少なくとも1つのピクチャのうち4個の符号化単位に分割されうるピクチャ1700、2個または4個の符号化単位に分割されうるピクチャ1710、及び2個、3個または4個の符号化単位に分割されうるピクチャ1720を利用し、映像を復号することができる。復号部120は、ピクチャ1700を、複数個の符号化単位に分割するために、4個の正方形の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。復号部120は、ピクチャ1710を分割するために、2個または4個の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。復号部120は、ピクチャ1720を分割するために、2個、3個または4個の符号化単位に分割されるということを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置100の動作について説明するための実施形態に過ぎないので、説明した分割形態の組み合わせは、前述の実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
【0151】
一実施形態によって、映像復号装置100のビットストリーム獲得部110は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位(例えば、シーケンス、ピクチャ、スライスなど)ごとに獲得することができる。例えば、ビットストリーム獲得部110は、シーケンスパラメータセット、ピクチャパラメータセットまたはスライスヘッダから、分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置100の復号部120は、獲得したインデックスを利用し、所定データ単位ごとに符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。
【0152】
図18は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する。
【0153】
一実施形態によって、映像復号装置100は、ビットストリーム獲得部110を介して獲得したブロック形態情報及び分割形態情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。
【0154】
図18を参照すれば、復号部120は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
【0155】
一実施形態によって、復号部120が、正方形状の符号化単位を、水平方向及び垂直方向に分割し、4個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態情報が示すことができる分割形態は、4種でもある。一実施形態によって、分割形態情報は、2桁のバイナリーコードとして表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられる。例えば、符号化単位が分割されない場合、分割形態情報は、(00)bと表現され、該符号化単位が、水平方向及び垂直方向に分割される場合、分割形態情報は、(01)bと表現され、符号化単位が水平方向に分割される場合、分割形態情報は、(10)bと表現され、符号化単位が垂直方向に分割される場合、分割形態情報は、(11)bと表現されうる。
【0156】
一実施形態によって、復号部120は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによって決定されうる。図18を参照すれば、復号部120は、一実施形態によって、非正方形状の符号化単位を3個まで分割することができる。復号部120は、符号化単位を2つの符号化単位に分割することができ、その場合、分割形態情報は、(10)bと表現されうる。復号部120は、符号化単位を3つの符号化単位に分割することができ、その場合、分割形態情報は、(11)bと表現されうる。復号部120は、符号化単位を分割しないと決定することができ、その場合、分割形態情報は、(0)bと表現されうる。すなわち、復号部120は、分割形態情報を示すバイナリーコードを利用するために、固定長コーディング(FLC:fixed length coding)ではなく、可変長コーディング(VLC:variable length coding)を利用することができる。
【0157】
一実施形態によって、図18を参照すれば、符号化単位が分割されないということを示す分割形態情報のバイナリーコードは、(0)bと表現されうる。もし符号化単位が分割されないということを示す分割形態情報のバイナリーコードが、(00)bに設定された場合であるならば、(01)bに設定された分割形態情報がないにもかかわらず、2ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図18で図示されるように、非正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、復号部120は、分割形態情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態情報が示す非正方形状の符号化単位の分割形態は、単に図18で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態として解釈されなければならない。
【0158】
図19は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の他の形態を図示する。
【0159】
図19を参照すれば、復号部120は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、該分割形態情報は、正方形状の符号化単位が一方向に分割されるということを示すことができる。そのような場合、正方形状の符号化単位が分割されないということを示す分割形態情報のバイナリーコードは、(0)bと表現されうる。もし符号化単位が分割されないということを示す分割形態情報のバイナリーコードが(00)bに設定された場合であるならば、(01)bに設定された分割形態情報がないにもかかわらず、2ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図19で図示されるように、正方形状の符号化単位に係わる3種の分割形態を利用する場合であるならば、復号部120は、分割形態情報として、1ビットのバイナリーコード(0)bを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態情報が示す正方形状の符号化単位の分割形態は、単に図19で図示する3種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態として解釈されなければならない。
【0160】
一実施形態によって、ブロック形態情報または分割形態情報は、バイナリーコードを利用して表現され、そのような情報が、直ちにビットストリームに生成される。また、バイナリーコードによって表現されうるブロック形態情報または分割形態情報は、直ちにビットストリームに生成されず、CABAC(context adaptive binary arithmetic coding)で入力されるバイナリーコードとしても利用される。
【0161】
一実施形態によって、映像復号装置100は、CABACを介して、ブロック形態情報または分割形態情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部110を介して、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。復号部120は、獲得したビットストリームに含まれるビンストリング(bin string)を逆二進化し、ブロック形態情報または分割形態情報を示すシンタックス要素(syntax element)を検出することができる。一実施形態によって、復号部120は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、復号部120は、そのような復号されたビンによって構成されるビンストリングが、以前求めたビンストリングのうち一つと同じようになるまで反復させる。復号部120は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
【0162】
一実施形態によって、復号部120は、適応的二進算術コーディング(adaptive binary arithmetic coding)の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、復号部120は、ビットストリーム獲得部110を介して獲得したビンに係わる確率モデルを更新することができる。図18を参照すれば、映像復号装置100のビットストリーム獲得部110は、一実施形態によって、分割形態情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した1ビットまたは2ビットの大きさを有するバイナリーコードを利用し、復号部120は、分割形態情報に係わるシンタックスを決定することができる。復号部120は、分割形態情報に係わるシンタックスを決定するために、2ビットのバイナリーコードのうちそれぞれのビットに係わる確率を更新することができる。すなわち、復号部120は、2ビットのバイナリーコードのうち最初ビンの値が0または1のうちいずれの値であるかということにより、次のビンを復号するとき、0または1の値を有する確率を更新することができる。
【0163】
一実施形態によって、復号部120は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程において利用されるビンに係わる確率を更新することができ、復号部120は、前記ビンストリングのうち特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
【0164】
図18を参照すれば、非正方形状の符号化単位に係わる分割形態情報を示すビンストリングを利用してシンタックスを決定する過程において、復号部120は、非正方形状の符号化単位を分割しない場合には、0の値を有する1つのビンを利用し、分割形態情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位が非正方形状であるということを示す場合、分割形態情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、0であり、2個または3個の符号化単位に分割される場合、1でもある。それにより、非正方形の符号化単位に係わる分割形態情報のビンストリングの最初ビンが0である確率は、1/3、1である確率は2/3でもある。前述のように、復号部120は、非正方形状の符号化単位が分割されないということを示す分割形態情報は、0の値を有する1ビットのビンストリングのみが表現されうるので、復号部120は、分割形態情報の最初ビンが1である場合にのみ、2番目ビンが0であるか1であるかということを判断し、分割形態情報に係わるシンタックスを決定することができる。一実施形態によって、復号部120は、分割形態情報に係わる最初ビンが1である場合、2番目ビンが0または1である確率は、互いに同一確率であると見て、ビンを復号することができる。
【0165】
一実施形態によって、映像復号装置100は、分割形態情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態によって、復号部120は、非正方形ブロックの方向に沿って、分割形態情報に係わるビンの確率を異ならせて決定することができる。一実施形態によって、復号部120は、現在符号化単位の広さ、または長辺長によって、該分割形態情報に係わるビンの確率を異ならせて決定することができる。一実施形態によって、復号部120は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、該分割形態情報に係わるビンの確率を異ならせて決定することができる。
【0166】
一実施形態によって、復号部120は、所定サイズ以上の符号化単位については、分割形態情報に係わるビンの確率が同一であると決定することができる。例えば、符号化単位の長辺長を基準に、64サンプル以上の大きさの符号化単位については、分割形態情報に係わるビンの確率が同一であると決定することができる。
【0167】
一実施形態によって、復号部120は、分割形態情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ(例えば、Iスライス、PスライスまたはBスライス…)に基づいて決定されうる。
【0168】
図20は、ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。
【0169】
映像符号化システム及び映像復号システム2000の符号化端2010は、映像の符号化されたビットストリームを伝送し、復号化端2050は、ビットストリームを受信して復号することにより、復元映像を出力する。ここで、符号化端2010は、後述する映像符号化装置200に類似した構成でもあり、復号化端2050は、映像復号装置100に類似した構成でもある。
【0170】
符号化端2010において、予測符号化部2015は、インター予測及びイントラ予測を介して参照映像を出力し、変換及び量子化部2020は、参照映像と現在入力映像とのレジデュアルデータを、量子化された変換係数に量子化して出力する。エントロピー符号化部2025は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部2030を経て空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部2035及びループフィルタリング部2040を経て復元映像として出力される。該復元映像は、予測符号化部2015を経て、次の入力映像の参照映像にも使用される。
【0171】
復号化端2050に受信されたビットストリームのうち符号化された映像データは、エントロピー復号部2055及び逆量子化及び逆変換部2060を経て、空間領域のレジデュアルデータに復元される。予測復号部2075から出力された参照映像及びレジデュアルデータが組み合わされて空間領域の映像データが構成され、デブロッキングフィルタリング部2065及びループフィルタリング部2070は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部2075により、次の原本映像に係わる参照映像としても利用される。
【0172】
符号化端2010のループフィルタリング部2040は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部2040によって使用されたフィルタ情報は、エントロピー符号化部2010に出力され、符号化された映像データと共に、復号化端2050に伝送される。復号化端2050のループフィルタリング部2070は、復号化端2050から入力されたフィルタ情報に基づいて、ループフィルタリングを行うことができる。
【0173】
図21は、一実施形態による最大符号化単位に含まれるフィルタリング単位の一例と、フィルタリング単位のフィルタリング遂行情報とを示した図面である。
【0174】
符号化端2010のループフィルタリング部2040、及び復号化端2050のループフィルタリング部2070のフィルタリング単位が、図3ないし図5を介して説明した一実施形態による符号化単位と類似したデータ単位で構成されているならば、フィルタ情報は、フィルタリング単位を示すためのデータ単位のブロック形態情報及び分割形態情報、並びにフィルタリング単位に係わるループフィルタリング遂行いかんを示すループフィルタリング遂行情報を含んでもよい。
【0175】
一実施形態による最大符号化単位2100に含まれたフィルタリング単位は、最大符号化単位2100に含まれた符号化単位と同一のブロック形態及び分割形態を有することができる。また、一実施形態による最大符号化単位2100に含まれたフィルタリング単位は、最大符号化単位2100に含まれた符号化単位の大きさを基準に分割されうる。図21を参照すれば、例えば、フィルタリング単位は、深度Dの正方形状のフィルタリング単位2140、深度Dの非正方形状のフィルタリング単位2132,2134、深度D+1の正方形状のフィルタリング単位2112,2114,2116,2152,2154,2164、深度D+1の非正方形状のフィルタリング単位2162,2166、深度D+2の正方形状のフィルタリング単位2122,2124,2126,2128を含んでもよい。
【0176】
最大符号化単位2100に含まれたフィルタリング単位のブロック形態情報、分割形態情報(深度)及びループフィルタリング遂行情報は、下記表1のようにも符号化される。
【0177】
【表1】
一実施形態によるブロック形態情報及びブロック分割情報により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される過程は、図13を介して説明した通りである。一実施形態によるフィルタリング単位のループフィルタリング遂行情報は、フラッグ値が1である場合、当該フィルタリング単位に対してループフィルタリングが行われるということを示し、0である場合、ループフィルタリングが行われないということを示す。表1を参照すれば、ループフィルタリング部2040,2070により、フィルタリングの対象になるフィルタリング単位を決定するためのデータ単位の情報は、フィルタ情報としていずれも符号化されて伝送される。
【0178】
一実施形態によって構成された符号化単位は、原本映像との誤差を最小化させる形態に構成された符号化単位であるので、符号化単位内において、空間的相関度が高いと予想される。従って、一実施形態による符号化単位に基いてフィルタリング単位が決定されることにより、符号化単位の決定と別途にフィルタリング単位を決定する動作が、省略されもする。また、それにより、一実施形態による符号化単位に基いて、フィルタリング単位を決定することにより、フィルタリング単位の分割形態を決定するための情報を省略することができるので、フィルタ情報の伝送ビットレートを節約することができる。
【0179】
前述の実施形態においては、フィルタリング単位が、一実施形態による符号化単位に基いて決定されると説明したが、符号化単位に基いて、フィルタリング単位の分割を行っていて、任意の深度においてそれ以上分割せず、当該深度までフィルタリング単位の形態が決定されもする。
【0180】
前述の実施形態に開示されたフィルタリング単位の決定は、ループフィルタリングだけではなく、デブロッキングフィルタリング、適応的ループフィルタリングなど多様な実施形態にも適用される。
【0181】
一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、該ブロック形態情報は、正方形状のみを利用すると事前に決定され、該分割形態情報は、分割しないか、あるいは4個の正方形状の符号化単位に分割されるということを示すことができると事前に決定されうる。すなわち、該現在符号化単位は、前記ブロック形態情報によれば、符号化単位は、常時正方形状を有し、前記分割形態情報に基づいて分割されないか、あるいは4個の正方形状の符号化単位に分割されうる。映像復号装置100は、そのようなブロック形態及び分割形態のみを利用することにより、事前に決定された所定符号化方法を利用して生成されたビットストリームを、ビットストリーム獲得部110を介して獲得することができ、復号部120は、事前に決定されたブロック形態及び分割形態のみを利用することができる。そのような場合、映像復号装置100は、前述の所定符号化方法と類似した所定復号方法を利用することにより、所定符号化方法との互換性問題を解決することができる。一実施形態によって、映像復号装置100は、ブロック形態情報及び分割形態情報が示すことができる多様な形態のうち事前に決定されたブロック形態及び分割形態のみを利用する前述の所定復号方法を利用する場合、ブロック形態情報は、正方形状のみを示すようになるので、映像復号装置100は、ビットストリームから、ブロック形態情報を獲得する過程を省略することができる。前述の所定復号方法を利用するか否かということを示すシンタックスが利用され、そのようなシンタックスは、シーケンス、ピクチャ、スライス単位、最大符号化単位のような複数個の符号化単位を含む多様な形態のデータ単位ごとに、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部110は、所定復号方法の使用いかんを示すシンタックスに基づいて、ブロック形態情報を示すシンタックスを、ビットストリームから獲得するか否かということを決定することができる。
【0182】
図23は、一実施形態による符号化単位のZスキャン順序によるインデックスを図示する。
【0183】
一実施形態による映像復号装置100は、上位データ単位に含まれた下位データ単位を、Zスキャン順序によってスキャンすることができる。また、一実施形態による映像復号装置100は、最大符号化単位、またはプロセッシングブロックに含まれる符号化単位内のZスキャンインデックスにより、データに順次にアクセスすることができる。
【0184】
一実施形態による映像復号装置100が、基準符号化単位を、少なくとも1つの符号化単位に分割することができるということは、図3及び図4を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在することができる。一実施形態による映像復号装置100は、基準符号化単位内の各符号化単位に含まれたZスキャンインデックスにより、データアクセスを行うことができる。このとき、基準符号化単位内に、非正方形状の符号化単位が存在するか否かということより、Zスキャンインデックスを適用する方式が異なる。
【0185】
一実施形態により、基準符号化単位内に非正方形状の符号化単位が存在しない場合、基準符号化単位内の下位深度の符号化単位同士は、連続したZスキャンインデックスを有することができる。例えば、一実施形態によって、上位深度の符号化単位は、下位深度の符号化単位4個を含んでもよい。ここで、4個の下位深度の符号化単位は、互いに隣接する境界が連続的でもあり、それぞれの下位深度の符号化単位は、Zスキャン順序を示すインデックスにより、Zスキャン順序によってもスキャンされる。一実施形態によるZスキャン順序を示すインデックスは、各符号化単位に対し、Zスキャン順序によって増加する数にも設定される。その場合、同一深度の深度別符号化単位同士Zスキャン順序によってスキャンが可能である。
【0186】
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が少なくとも1以上存在する場合、映像復号装置100は、基準符号化単位内の符号化単位をそれぞれサブブロックに分割し、分割されたサブブロックに対して、Zスキャン順序によるスキャンを行うことができる。例えば、基準符号化単位内において、垂直方向または水平方向の非正方形状の符号化単位が存在する場合、分割されたサブブロックを利用し、Zスキャンを行うことができる。また、例えば、基準符号化単位内において、奇数個の符号化単位に分割が行われた場合、サブブロックを利用し、Zスキャンを行うことができる。該サブブロックは、それ以上分割されない符号化単位、または任意の符号化単位が分割されたものであり、正方形状でもある。例えば、正方形状の符号化単位から4、個の正方形状のサブブロックが分割されうる。また、例えば、非正方形状の符号化単位からは、2個の正方形状のサブブロックが分割されうる。
【0187】
図23を参照すれば、例えば、一実施形態による映像復号装置100は、符号化単位2300内において、下位深度の符号化単位2302,2304,2306,2308,2310をZスキャン順序によってスキャンすることができる。符号化単位2300及び符号化単位2302,2304,2306,2308,2310は、それぞれ相対的に、上位符号化単位及び下位符号化単位である。符号化単位2300は、水平方向の非正方形状の符号化単位2306,2310を含む。それら非正方形状の符号化単位2306,2310は、隣接した正方形状の符号化単位2302,2304との境界が不連続的である。また、符号化単位2308は、正方形状であり、非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位である。非正方形状の符号化単位2306,2310と同様に、符号化単位2308は、隣接した正方形状の符号化単位2302,2304との境界が不連続的である。符号化単位2300内に、非正方形状の符号化単位2306,2310が含まれるか、あるいは非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位2308が含まれた場合、符号化単位間に隣接する境界が不連続的であるために、連続的なZスキャンインデックスが設定されない。従って、映像復号装置100は、符号化単位をサブブロックに分割することにより、Zスキャンインデックスを連続的に設定することができる。また、映像復号装置100は、非正方形状の符号化単位2306,2310、または奇数個に分割された非正方形状の符号化単位の中間に位置した符号化単位2308に対して、連続したZスキャンを遂行することができる。
【0188】
図23に図示された符号化単位2320は、符号化単位2300内の符号化単位2302,2304,2306,2308,2310をサブブロックに分割したものである。該サブブロックそれぞれに対して、Zスキャンインデックスが設定され、該サブブロック間の隣接する境界は、連続的であるので、サブブロック同士、Zスキャン順序によってスキャンが可能である。例えば、一実施形態による復号装置において、符号化単位2308は、サブブロック2322,2324,2326,2328に分割されうる。このとき、サブブロック2322,2324は、サブブロック2330に対するデータ処理後にスキャンされ、サブブロック2326,2328は、サブブロック2332に対するデータ処理後にスキャンされる。また、それぞれのサブブロック同士、Zスキャン順序によってもスキャンされる。
【0189】
前述の実施形態において、データ単位に対して、Zスキャン順序によってスキャンすることは、データ保存、データローディング、データアクセスなどのためのものでもある。
【0190】
また、前述の実施形態では、データ単位をZスキャン順序によってスキャンすることができると説明したが、データ単位のスキャン順序は、ラスタースキャン、Nスキャン、右上向対角スキャン、水平的スキャン、垂直的スキャンのような多様なスキャン順序によって遂行され、Zスキャン順序に限定して解釈されるのではない。
【0191】
また、前述の実施形態では、基準符号化単位内の符号化単位に対してスキャンを行うと説明したが、それに限定して解釈されるものではなく、スキャン遂行の対象は、最大符号化単位、またはプロセッシングブロック内の任意のブロックでもある。
【0192】
また、前述の実施形態では、非正方形状のブロックが、少なくとも1以上存在する場合にのみサブブロックに分割し、Zスキャン順序によるスキャンを行うように説明したが、単純化された具現のために、非正方形状のブロックが存在しない場合にも、サブブロックを分割し、Zスキャン順序によるスキャンを行うこともできる。
【0193】
一実施形態による映像復号装置100は、符号化単位に係わるインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を復元することができる。
【0194】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測モードが選択される。
【0195】
一実施形態による2Nx2N形態の符号化単位が分割され、2つの2NxN形態、または2つのNx2N形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個に行われる。また、一実施形態による2NxN形態またはNx2N形態の符号化単位については、スキップモードが適用されもする。
【0196】
一方、一実施形態による映像復号装置100は、8x4形態または4x8形態の符号化単位のスキップモードにおいて、双方向予測(bi-prediction)の遂行が許容される。該スキップモードにおいては、符号化単位に対して、スキップモード情報のみを伝送されるために、当該符号化単位に係わるレジデュアルデータの利用が省略される。従って、その場合、逆量子化及び逆変換に対するオーバーヘッド(overhead)を節約することができる。その代わり、一実施形態による映像復号装置100は、スキップモードが適用される符号化単位に対して、双方向予測を許容して復号効率を高めることができる。また、一実施形態による映像復号装置100は、8x4形態または4x8形態の符号化単位に対して、双方向予測を許容するが、動き補償段階において、補間タップ(interpolation tap)数を相対的に少なく設定し、メモリ帯域幅を効率的に使用することができる。一例として、8タップの補間フィルタを使用する代わりに、8未満のタップ数の補間フィルタ(例えば、2タップ補間フィルタ)を使用することもできる。
【0197】
また、一実施形態による映像復号装置100は、現在符号化単位に含まれた領域を、既設定形態に分割(例えば、斜線基盤分割)し、分割された各領域に対するイントラ予測情報またはインター予測情報をシグナリングすることもできる。
【0198】
一実施形態による映像復号装置100は、イントラモードを利用し、現在符号化単位の予測サンプルを、現在符号化単位の周辺サンプルを利用して獲得することができる。このとき、イントラ予測は、周辺のすでに再構成されたサンプルを使用して予測を行うが、そのようなサンプルを参照サンプルという。
【0199】
図24は、一実施形態による符号化単位のイントラ予測のための参照サンプルを示す図面である。図24を参照すれば、ブロック形態が非四角形状であり、水平方向の長さがw、垂直方向の長さがhである現在符号化単位2300に対して、上端の参照サンプル2302がw+h個、左側の参照サンプル2304がw+h個、左側上端の参照サンプル2306が一つであり、総2(w+h)+1個の参照サンプルが必要である。参照サンプル準備のために、参照サンプルが存在しない部分に対してパディングを行う段階を経て再構成された参照サンプルに含まれた量子化エラーを減らすための予測モード別参照サンプルフィルタリング過程を経ることもできる。
【0200】
前述の実施形態においては、現在符号化単位のブロック形態が非四角形状である場合の参照サンプルの個数について説明したが、そのような参照サンプルの個数は、現在符号化単位が、四角形状のブロック形態の場合にも、同一に適用される。
【0201】
前述の多様な実施形態は、映像復号装置100が遂行する映像復号方法に係わる動作について説明したものである。以下では、そのような映像復号方法に対して逆順の過程に該当する映像符号化方法を遂行する映像符号化装置200の動作について、多様な実施形態を介して説明する。
【0202】
図2は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を符号化させることができる映像符号化装置200のブロック図を図示する。
【0203】
図2を参照すれば、映像符号化装置200は、一実施形態によって、分割形態情報、ブロック形態情報のような所定情報を含むビットストリームを生成するためのビットストリーム生成部210、前記所定情報を利用して映像を符号化させるための符号化部220を含んでもよい。一実施形態によって、映像符号化装置200の符号化部220は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を分割する少なくとも1つの符号化単位を決定することができ、映像符号化装置200のビットストリーム生成部210において、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ここで、該ブロック形態情報は、符号化単位の形態を示す情報またはシンタックスを意味し、該分割形態情報は、符号化単位が分割される形態を示す情報またはシンタックスを意味する。
【0204】
一実施形態によって、映像符号化装置200の符号化部220は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形状を有することができ、そのような形態を示す情報は、ブロック形態情報に含まれてもよい
一実施形態によって、符号化部220は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部220は、符号化単位に含まれる少なくとも1つの符号化単位の形態を決定することができ、ビットストリーム生成部210は、そのような符号化単位の形態に係わる情報を含む分割形態情報を含むビットストリームを生成することができる。
【0205】
一実施形態によって、符号化部220は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部220が、符号化単位に1つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部210は、符号化単位が分割されないということを示す分割形態情報を含むビットストリームを生成することができる。また、符号化部220は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部210は、符号化単位は、複数個の符号化単位に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。
【0206】
一実施形態によって、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が分割形態情報に含まれてもよい。例えば、分割形態情報は、垂直方向及び水平方向のうち少なくとも1つの方向に分割するということを示すか、あるいは分割しないということを示すことができる。
【0207】
図3は、一実施形態によって、映像符号化装置200が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0208】
一実施形態によって、符号化部220は、符号化単位の形態を決定することができる。例えば、符号化部220は、RD(rate distortion) costを考慮し、最適のRD costを有する符号化単位の形態を決定することができる。
【0209】
一実施形態により、符号化部220は、現在符号化単位が正方形状であるということを決定することができ、それにより、正方形状の符号化単位が分割される形態を決定することができる。例えば、符号化部220は、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは4個の符号化単位に分割するかというようなことを決定することができる。図3を参照すれば、符号化部220は、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位310b,310c,310dを決定することができる。
【0210】
図3を参照すれば、符号化部220は、一実施形態によって、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。符号化部220は、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。符号化部220は、現在符号化単位300を、垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下において、多様な実施形態を介して具体的に説明する。
【0211】
一実施形態によって、映像符号化装置200のビットストリーム生成部210は、現在符号化単位300が符号化部220によって分割された形態を示す分割形態情報を含むビットストリームを生成することができる。
【0212】
図4は、一実施形態によって、映像符号化装置200が非正方形状である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0213】
一実施形態によって、符号化部220は、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図4を参照すれば、現在符号化単位400または450の符号化部220は、現在符号化単位400または450と同一サイズを有する符号化単位410または460を分割しないか、あるいは所定分割方法によって分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。映像符号化装置200のビットストリーム生成部210は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明する。
【0214】
一実施形態によって、符号化部220は、符号化単位が分割される形態を決定することができる。図4を参照すれば、符号化部220は、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができ、ビットストリーム生成部210は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
【0215】
一実施形態によって、符号化部220が、非正方形状の現在符号化単位400または450を分割する場合、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、符号化部220は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができ、ビットストリーム生成部210は、そのような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
【0216】
一実施形態により、符号化部220は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、符号化部220は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480に分割することができる。一実施形態によって、符号化部220は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではない。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480のうち所定符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有することもできる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480がそれぞれ互いに異なる大きさを有することもできる。
【0217】
一実施形態によって、符号化部220は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、符号化部220は、分割して生成される奇数個の符号化単位のうち少なくとも1つの符号化単位に対して所定制限を置くことができる。図4を参照すれば、符号化部220は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480のうち中央に位置する符号化単位430b,480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異なるようにすることができる。例えば、符号化部220は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定回数ほど分割されるように制限することができる。
【0218】
図5は、一実施形態によって、映像符号化装置200が符号化単位を分割する過程を図示する。
【0219】
一実施形態によって、符号化部220は、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、符号化部220は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができ、一実施形態によって利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下では、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるものであると理解される。
【0220】
一実施形態によって、映像符号化装置200は、決定された第2符号化単位510を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、符号化部220は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500を分割して決定された非正方形状の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しない。映像符号化装置200のビットストリーム生成部210は、ブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができ、符号化部220は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500を分割し、例えば、多様な形態の複数個の第2符号化単位510を分割することができ、第2符号化単位510は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位500が分割された方式によって分割されうる。一実施形態により、第1符号化単位500が、第1符号化単位500に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第2符号化単位510に分割された場合、第2符号化単位510も、第2符号化単位510に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第3符号化単位520a,520b,520c,520dに分割されうる。従って、非正方形状の符号化単位で正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されもする。図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dのうち所定符号化単位(例えば、真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的に分割されうる。一実施形態によって、奇数個の第3符号化単位520b,520c,520dのうち一つである正方形状の第3符号化単位520cは、水平方向に分割され、複数個の第4符号化単位に分割されうる。複数個の第4符号化単位のうち一つである非正方形状の第4符号化単位540は、また複数個の符号化単位に分割されうる。例えば、非正方形状の第4符号化単位540は、奇数個の符号化単位550a,550b,550cにまた分割されもする。
【0221】
符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割されうる。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【0222】
一実施形態によって、符号化部220は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第3符号化単位520a,520b,520c,520dそれぞれを符号化単位に分割するか、あるいは第2符号化単位510を分割しないと決定することができる。符号化部220は、一実施形態によって、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像符号化装置200は、奇数個の第3符号化単位520b,520c,520dのうち所定の第3符号化単位に対して所定制限を置くことができる。例えば、映像符号化装置200は、奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図5を参照すれば、映像符号化装置200は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち真ん中に位置する符号化単位520cは、それ以上分割されないか、所定分割形態に分割(例えば、4個の符号化単位にだけ分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割)されると制限するか、あるいは所定回数にだけ分割(例えば、n回だけ分割、n>0)されると制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単純な実施形態に過ぎないので、説明した実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが異なる符号化単位520b,520dと異なるように復号される多様な制限を含むと解釈されなければならない。
【0223】
一実施形態によって、映像符号化装置200のビットストリーム生成部210は、現在符号化単位内の所定位置のサンプルと係わるビットストリームと共に、現在符号化単位を分割するために使用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。
【0224】
図6は、一実施形態によって、符号化部220が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。映像符号化装置200の符号化部220は、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。図6を参照すれば、ビットストリーム生成部210は、現在符号化単位600に含まれる複数個のサンプルのうち所定位置のサンプル(例えば、真ん中に位置するサンプル640)に係わるビットストリームと共に、現在符号化単位600のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ただし、そのようなブロック形態情報及び分割形態情報のうち少なくとも一つに係わる現在符号化単位600内の所定位置が、図6で図示する真ん中に位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれてもよいと解釈されなければならない。
【0225】
一実施形態によって、映像符号化装置200は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様であり、そのような方法についての説明は、以下の多様な実施形態を介して後述する。
【0226】
一実施形態によって、映像符号化装置200の符号化部220は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【0227】
図6は、一実施形態によって、映像符号化装置200が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
【0228】
一実施形態によって、符号化部220は、奇数個の符号化単位のうち真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、符号化部220は、現在符号化単位600を分割し、奇数個の符号化単位620a,620b,620cを決定することができる。符号化部220は、奇数個の符号化単位620a,620b,620cの位置に係わる情報を利用し、真ん中符号化単位620bを決定することができる。例えば、符号化部220は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、符号化部220は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づいて、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。
【0229】
一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像符号化装置200は、符号化単位620a,620b,620cのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値を示す符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
【0230】
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示すことができる。映像符号化装置200は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち真ん中に位置する符号化単位として決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法として解釈されなければならない。
【0231】
一実施形態によって、映像符号化装置200は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定基準により、符号化単位を選択することができる。例えば、符号化部220は、符号化単位620a,620b,620cにおいて、大きさが異なる符号化単位620bを選択することができる。
【0232】
一実施形態によって、映像符号化装置200は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像符号化装置200は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。
【0233】
一実施形態により、映像符号化装置200は、上端符号化単位620aの幅をxb-xaと決定することができ、高さをyb-yaと決定することができる。一実施形態によって、符号化部220は、真ん中符号化単位620bの幅をxc-xbと決定することができ、高さをyc-ybと決定することができる。一実施形態によって、符号化部220は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さとを利用して決定することができる。符号化部220は、決定された符号化単位620a,620b,620cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像符号化装置200は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位として決定することができる。ただし、前述の映像符号化装置200が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【0234】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されるとも解釈される。
【0235】
一実施形態によって、映像符号化装置200は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、符号化部220は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、符号化部220は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、符号化部220は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、符号化部220は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
【0236】
一実施形態によって、映像符号化装置200は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。符号化部220は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち所定位置(例えば、真ん中位置)の符号化単位を決定する過程と類似した過程でもあるので、省略する。
【0237】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、現在符号化単位の分割過程において利用された所定情報を利用することができる。例えば、映像符号化装置200の符号化部220は、現在符号化単位が、複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、現在符号化単位の分割過程において利用された所定情報として、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができ、そのような情報は、である。
【0238】
図6を参照すれば、映像符号化装置200の符号化部220は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち真ん中に位置する符号化単位620bを決定することができ、ビットストリーム生成部210は、現在符号化単位600の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。符号化部220は、現在符号化単位600の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも1つのビットストリームに係わるサンプルの位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の真ん中に位置するサンプル640に係わるビットストリームと共に、現在符号化単位600のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームが生成され、その場合、符号化部220は、前記サンプル640を含む符号化単位620bを、複数個の符号化単位620a,620b,620cのうち真ん中に位置する符号化単位として決定することができる。ただし、現在符号化単位が分割されて決定された複数個の符号化単位のうち真ん中に位置する符号化単位として決定するために利用される情報が、現在符号化単位の分割過程において利用されたブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が利用される。それと係わり、映像符号化装置200が所定位置の符号化単位を決定する過程は、映像復号装置100が現在符号化単位から決定された複数個の符号化単位のうち所定位置の符号化単位を決定する過程に対して反対となる過程でもあるので、詳細な説明は、省略する。
【0239】
一実施形態によって、映像符号化装置200は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を所定ブロック(例えば、現在符号化単位)によって決定することができる。
【0240】
図7は、一実施形態によって、映像符号化装置200が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。図7と係わる映像符号化装置200が複数個の符号化単位を処理する過程は、図7と係わって説明した映像復号装置100の動作と類似した過程でもあるので、詳細な説明は、省略する。
【0241】
図8は、一実施形態によって、映像符号化装置200が所定順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されるということを決定する過程を図示する。
【0242】
一実施形態によって、映像符号化装置200の符号化部220は、現在符号化単位が奇数個の符号化単位に分割されるということを決定することができ、ビットストリーム生成部210は、現在符号化単位の形態を示すブロック形態情報及び現在符号化単位の分割形態(奇数個に分割される)を示す分割形態情報を含むビットストリームを生成することができる。図8を参照すれば、正方形状の第1符号化単位800が非正方形状の第2符号化単位810a,810bに分割され、第2符号化単位810a,810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d,820eに分割されうる。一実施形態によって、符号化部220は、第2符号化単位のうち左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。図8と係わる映像符号化装置200が、現在符号化単位が、奇数個の符号化単位に分割されるということを決定する過程は、図8と係わって説明した映像復号装置100の動作に対して反対となる過程でもあるので、詳細な説明は、省略する。
【0243】
図9は、一実施形態によって、映像符号化装置200が、第1符号化単位900を分割し、少なくとも1つの符号化単位を決定することを図示する。一実施形態によって、符号化部220は、第1符号化単位900を分割することができ、ビットストリーム生成部210は、第1符号化単位900の形態を示すブロック形態情報、及び第1符号化単位900が分割される形態を示す分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、符号化部220は、第1符号化単位900を複数個の非正方形の符号化単位に分割することができ、その場合、ビットストリーム生成部210は、第1符号化単位900は、正方形であることを示すブロック形態情報、及び第1符号化単位900が非正方形の符号化単位に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。具体的には、符号化部220は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができ、その場合、ビットストリーム生成部210は、第1符号化単位900を水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す分割形態情報を含むビットストリームを生成することができる。図9と係わる映像符号化装置200が、第1符号化単位900を分割し、少なくとも1つの符号化単位を決定する過程は、図9と係わって説明した映像復号装置100の動作に対して反対となる過程でもあるので、詳細な説明は、省略する。
【0244】
図10は、一実施形態によって、映像符号化装置200が、第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位が所定条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する。
【0245】
一実施形態によって、符号化部220は、正方形状の第1符号化単位1000を非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立して分割されうる。それにより、符号化部220は、第2符号化単位1010a,1010b,1020a,1020bそれぞれを、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。図10と係わる映像符号化装置200が、非正方形状の第2符号化単位が所定条件を満足するとき、分割されうる形態の制限する動作は、図10と係わって説明した映像復号装置100の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
【0246】
図11は、一実施形態によって、分割形態情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像符号化装置200が正方形状の符号化単位を分割する過程を図示する。それと係わる映像符号化装置200の動作は、図11と係わって説明した映像復号装置100の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
【0247】
図12は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりもするということを図示したものである。
【0248】
一実施形態によって、符号化部220は、正方形状の第1符号化単位1200を水平方向及び垂直方向のうち少なくとも1つの方向に分割することができる。一実施形態によって、ビットストリーム生成部210は、第1符号化単位1200が正方形状であることを示すブロック形態情報、及び第1符号化単位1200が水平方向及び垂直方向のうち少なくとも1つの方向に分割されるということを示す分割形態情報を含むビットストリームを生成することができる。
【0249】
一実施形態によって、符号化部220は、第1符号化単位1200を分割し、例えば、第2符号化単位1210a,1210b,1220a,1220b,1230a,1230b,1230c,1230dを決定することができる。図12を参照すれば、第1符号化単位1200が水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、独立して分割されうる。例えば、符号化部220は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。図10と係わる映像符号化装置200の動作は、図10と係わって説明した映像復号装置100の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
【0250】
図13は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。映像符号化装置200の符号化部220が符号化単位の深度を決定する過程は、図13と係わって説明した映像復号装置100の復号部120が符号化単位の深度を決定する過程に対して反対となるものでもあるので、詳細な説明は、省略する。
【0251】
一実施形態によって、映像符号化装置200は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像符号化装置200は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像符号化装置200は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックスを利用することができる。一実施形態によって、PIDは、それぞれの符号化単位の所定位置のサンプル(例えば、左側上端サンプル)からも獲得される。図14に係わる映像符号化装置200の動作は、図14と係わって説明した映像復号装置100の動作に対して反対となるものでもあるので、詳細な説明は、省略する。
【0252】
図15は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。一実施形態によって、符号化部220は、符号化単位の再帰的な分割が始まる所定データ単位として説明された基準符号化単位を利用することができる。図15と係わって映像符号化装置200が基準符号化単位を利用する動作は、図15と係わって説明した映像復号装置100が基準符号化単位を利用する動作に対して反対となるものでもあるので、詳細な説明は、省略する。
【0253】
一実施形態によって、映像符号化装置200のビットストリーム生成部210は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを含むビットストリームを、前記多様なデータ単位ごとに生成することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略する。
【0254】
一実施形態によって、符号化部220は、所定条件に基づいて事前に決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム生成部210は、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など)のうち所定条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスを含むビットストリームを生成することができる。符号化部220は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。一実施形態によって、基準符号化単位の大きさ及び形態を示すインデックスに係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、符号化部220は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。基準符号化単位の大きさ及び形態を識別するためのインデックスを利用する符号化部220の動作は、前述の復号部120の動作と類似したのでもあるので、詳細な説明は、省略する。
【0255】
図16は、一実施形態によって、ピクチャ1600に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【0256】
一実施形態によって、符号化部220は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。符号化部220は、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができ、ビットストリーム生成部210は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。そのようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【0257】
一実施形態によって、映像符号化装置200のビットストリーム生成部210は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを特定のデータ単位ごとに生成することができる。例えば、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。すなわち、ビットストリーム生成部210は、前記多くのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができ、符号化部220は、前記プロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも1つのプロセッシングブロックの大きさを決定することができ、そのようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【0258】
一実施形態によって、符号化部220は、ピクチャ1600に含まれるプロセッシングブロック1602,1612の大きさを決定することができる。例えば、符号化部220は、プロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図16を参照すれば、符号化部220は、一実施形態によって、プロセッシングブロック1602,1612の横サイズを基準符号化単位横サイズの4倍、縦サイズを基準符号化単位の縦サイズの4倍に決定することができる。符号化部220は、少なくとも1つのプロセッシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。プロセッシングブロックに係わる符号化部220の動作は、図16と係わって説明した復号部120の動作と類似したのでもあるので、詳細な説明は、省略する。
【0259】
一実施形態によって、映像符号化装置200のビットストリーム生成部210は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を含むビットストリームを生成することができる。ブロック形態情報または分割形態情報は、多様なデータ単位に係わるビットストリームに含まれてもよい。例えば、映像符号化装置200のビットストリーム生成部210は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダに含まれたブロック形態情報または分割形態情報を利用することができる。さらには、映像符号化装置200のビットストリーム生成部210は、ブロック形態情報または分割形態情報を示すシンタックスを含むビットストリームを最大符号化単位、基準符号化単位、プロセッシングブロックごとに生成することができる。
【0260】
一実施形態によって、符号化部220は、符号化単位が分割されうる分割形態の種類を、所定データ単位ごとに異なるように決定することができる。映像符号化装置200の符号化部220は、一実施形態によって、所定データ単位(例えば、シーケンス、ピクチャ、スライスなど)ごとに符号化単位が分割されうる形態の組み合わせを異ならせて決定することができる。
【0261】
図17は、一実施形態によって、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。
【0262】
図17を参照すれば、符号化部220は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを異ならせて決定することができる。例えば、符号化部220は、映像に含まれる少なくとも1つのピクチャのうち4個の符号化単位に分割されうるピクチャ1700、2個または4個の符号化単位に分割されうるピクチャ1710、及び2個、3個または4個の符号化単位に分割されうるピクチャ1720を利用して映像を復号することができる。符号化部220は、ピクチャ1700を4個の正方形の符号化単位に分割することができる。符号化部220は、ピクチャ1710を2個または4個の符号化単位に分割することができる。符号化部220は、ピクチャ1720を2個、3個または4個の符号化単位に分割することができる。前述の分割形態の組み合わせは、映像符号化装置200の動作について説明するための実施形態に過ぎないので、説明した分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
【0263】
一実施形態によって、映像符号化装置200の符号化部220は、分割形態情報の組み合わせを示すインデックスを利用し、所定データ単位ごとに符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。さらには、映像符号化装置200のビットストリーム生成部210は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位(例えば、シーケンス、ピクチャ、スライスなど)ごとに生成することができる。例えば、ビットストリーム生成部210は、分割形態情報の組み合わせを示すインデックスを含むシーケンスパラメータセット、ピクチャパラメータセットまたはスライスヘッダを生成することができる。
【0264】
図18図19は、一実施形態によって、バイナリーコードによって表現されうる分割形態情報に基づいて決定されうる符号化単位の多様な形態を図示する。
【0265】
一実施形態によって、映像符号化装置200の符号化部220は、符号化単位を多様な形態に分割することができ、ビットストリーム生成部210を介して、ブロック形態情報及び分割形態情報を含むビットストリームを生成することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。図18を参照すれば、符号化部220は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも1つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。映像符号化装置200が利用することができる分割形態情報のバイナリーコードに係わる特徴は、図18及び図19を介して説明した映像復号装置100の特徴に該当するので、詳細な説明は、省略する。
【0266】
一実施形態による映像符号化装置200は、符号化単位に係わるインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を符号化させることができる。
【0267】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測が行われ、誤差が最小である予測モードが選択される。
【0268】
一実施形態による2Nx2N形態の符号化単位が分割され、2つの2NxN形態、または2つのNx2N形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対してインターモード予測及びイントラモード予測が別個に遂行される。また、一実施形態によって、映像符号化装置200の符号化部220は、符号化単位が正方形状の場合だけではなく、非正方形状である場合にも、CUスキップモード(skip mode)を利用し、符号化単位を符号化させることができる。ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて決定されうる正方形状の符号化単位だけではなく、非正方形状の符号化単位の場合にも、CUスキップモードを利用して映像を復号することができることにより、相対的にさらに適応的なスキップモードの利用が可能になることにより、映像部/復号効率が向上することができる。そのような非正方形状の符号化単位において、スキップモードを利用する映像符号化装置200の特徴は、映像符号化装置200のスキップモード利用と係わって説明した特徴と類似したのでもあるので、詳細な説明は、省略する。
【0269】
図22は、一実施形態によって、所定符号化方法によって決定された符号化単位間の併合または分割が遂行される過程を図示する。
【0270】
一実施形態によって、映像符号化装置200は、前述の所定符号化方法を利用し、ピクチャを分割する符号化単位を決定することができる。例えば、映像符号化装置200は、符号化単位の分割情報に基づいて、現在深度の符号化単位を決定するか、あるいは下位深度の4個の符号化単位に分割することができる。前述のところのように、映像符号化装置200は、一実施形態によって、現在符号化単位は、常時正方形状を有することを示すブロック形態情報、及び現在符号化単位は、分割されないということを示すか、あるいは4個の正方形状の符号化単位に分割されるということを示すことができる分割形態情報を利用し、符号化単位を決定することができる。図22を参照すれば、前述の所定符号化方法によって決定された正方形の符号化単位により、ピクチャ2200,2220が分割されうる。
【0271】
ただし、前述の所定復号単位による場合、現在符号化単位が分割されるか否かということは、現在符号化単位内に含まれる相対的に小さいオブジェクト(object)が表現されるのに適するか否かということによって決定されるために、ピクチャ内の大きいオブジェクトと、小さいオブジェクトとが1つの符号化単位を介して符号化されることはない。ここで、オブジェクトとは、ピクチャに含まれたサンプルの集合であり、類似したサンプル値を有することにより、他の領域と区分されるサンプルの領域を意味する。図22を参照すれば、映像符号化装置200は、小さいオブジェクト2221を復元するために、第1符号化単位2222を4個の下位深度の符号化単位に分割することにより、小さいオブジェクト2221の復号のための符号化単位を決定することができる。しかし、大きいオブジェクト2223が現在符号化単位2222に含まれないので、大きいオブジェクト2223が、現在符号化単位2222を利用して復号されるには適さず、さらには、小さいオブジェクト2221を復号するために、現在符号化単位2222が分割されたために、結局、大きいオブジェクト2223の復号のために、不要な符号化単位の分割過程が遂行されなければならないので、非効率的である。すなわち、映像符号化装置200が、大きいオブジェクト2223に係わる部分を符号化させるために、1つの符号化単位を利用することができるのであるならば、映像符号化を効率的に行うことができる。
【0272】
一実施形態によって、映像符号化装置200の符号化部220は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、ブロック形態情報は、正方形状のみを利用することにより、事前に決定され、分割形態情報は、分割しないか、あるいは4個の正方形状の符号化単位に分割されるということを示すことができると事前に決定されうる。それは、多様な実施形態を介して説明した所定符号化方法で利用される符号化単位決定過程に該当する。その場合、符号化部220は、前記所定符号化方法を利用して決定された符号化単位を互いに併合するか、あるいは決定された符号化単位を分割するために、ピクチャに含まれるサンプル値を利用することができる。例えば、符号化部220は、類似したサンプル値を有する部分を検討し、ピクチャに含まれる多様なオブジェクトを検出することができ、そのように検出されたオブジェクトに係わる部分に基づいて、符号化単位の併合/分割過程を遂行することができる。
【0273】
図22を参照すれば、一実施形態によって、符号化部220は、前述の所定符号化方法を利用し、ピクチャ2200を分割する複数個の符号化単位を決定することができる。ただし、ピクチャに含まれた類似したサンプル値を有する部分2201が存在するにもかかわらず、類似領域を、1つの符号化単位ではない複数個の符号化単位に分割する過程が遂行される場合があり得る。その場合、符号化部220は、所定符号化方法を介して符号化単位が決定されても、そのような符号化単位を、1つの符号化単位2202に併合し、1つの符号化単位として符号化させることができる。図22を参照すれば、他の実施形態として、符号化部220は、前述の所定符号化方法を利用し、小さいオブジェクト2221の符号化のための符号化単位2222を、4個の符号化単位に分割することができる。そのように分割された符号化単位の場合、検出された大きいオブジェクト2223がいずれも含まれることがないので、符号化部220は、類似したサンプル値を有する部分を含む1つの符号化単位に符号化単位を併合することができる(2225)。
【0274】
一実施形態によって、符号化部220は、符号化単位の分割情報を利用し、符号化単位を分割しないか、あるいは4個の符号化単位に分割する所定符号化方法を利用し、符号化単位を決定した後、ピクチャに含まれるサンプルのサンプル値を考慮し、符号化単位をさらに分割することができる。すなわち、符号化部120は、オブジェクト別に符号化単位を決定するために、符号化単位間の併合だけではなく、すでに決定された符号化単位を分割することができる。図22を参照すれば、符号化部120は、オブジェクト2223のために、符号化単位を併合することができ、オブジェクト2223のために最適化された符号化単位を決定するために、オブジェクト2223のために併合された符号化単位をさらに分割することができる(2226)。すなわち、符号化部220は、分割(2226)過程を介して、オブジェクト2223が含まれていない部分を、オブジェクト2223とは別個の符号化単位2227と決定することができる。
【0275】
前述の映像符号化装置200の動作を介して、所定符号化方法によって決定された符号化単位間の併合または分割を行った後、映像に係わるビットストリームを生成した場合、映像復号装置100としては、そのようなビットストリームを獲得した後、前述の映像符号化方法の逆順の動作に該当する映像復号方法を遂行することにより、映像を復号することができる。
【0276】
図23は、一実施形態による符号化単位のZスキャン順序によるインデックスを図示する。
【0277】
一実施形態による映像符号化装置200の符号化部220は、上位データ単位に含まれた下位データ単位を、Zスキャン順序によってスキャンすることができる。また、一実施形態による映像符号化装置200は、最大符号化単位またはプロセッシングブロックに含まれる符号化単位内のZスキャンインデックスにより、データを順次にアクセスすることができる。一実施形態による映像符号化装置200の符号化部220が基準符号化単位を、少なくとも1つの符号化単位に分割することができるということは、図3及び図4を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在する。映像符号化装置200において、符号化単位のZスキャン順序によるインデックスに対する特徴は、図23を介して説明した映像復号装置100の特徴と類似した特徴でもあるので、詳細な説明は、省略する。
【0278】
以上、多様な実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【0279】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能記録媒体を利用し、前述のプログラムを動作させる汎用デジタルコンピュータでも具現される。前記コンピュータで読み取り可能記録媒体は、マグネチック記録媒体(例えば、ROM(read-only memory)、フロッピーディスク、ハードディスク、光学的判読媒体(例えば、CD-ROM(compact disc read only memory)、DVD(digital versatile disc)など)のような記録媒体を含む。
【0280】
[付記]
(付記1)
映像を復号する方法において、
ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得する段階と、
獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階と、
前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する段階と、を含み、
前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号方法。
(付記2)
前記少なくとも1つの第2符号化単位を決定する段階は、
前記ブロック形態情報に基づいて、前記第1符号化単位は、正方形または非正方形のうちいずれの形態を示すかということを決定する段階と、
決定された前記第1符号化単位の形態に基づいて、前記少なくとも1つの第2符号化単位を決定する段階と、を含むことを特徴とする付記1に記載の映像復号方法。
(付記3)
前記少なくとも1つの第2符号化単位を決定する段階は、
前記分割形態情報に基づいて、複数種類の大きさを有する複数個の第2符号化単位を決定する段階を含むことを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記4)
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階は、
前記第1符号化単位に含まれた所定位置のサンプルに係わるビットストリームから、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つを獲得する段階を含むことを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記5)
前記映像復号方法は、
前記少なくとも1つの第2符号化単位のうち所定の第2符号化単位を決定し、前記所定の第2符号化単位に係わる分割回数を制限し、前記映像を復号する段階をさらに含むことを特徴とする付記1に記載の映像復号方法。
(付記6)
前記映像を復号する段階は、
前記複数個の第2符号化単位のうち所定位置にある第2符号化単位を決定し、前記所定の第2符号化単位に係わる分割回数の制限を置き、前記映像を復号する段階を含むことを特徴とすることを特徴とする付記5に記載の映像復号方法。
(付記7)
前記映像を復号する段階は、
前記少なくとも1つの第2符号化単位のうち、前記所定位置のサンプルが含まれた第2符号化単位を決定する段階と、
前記決定された第2符号化単位に係わる分割回数を制限し、前記映像を復号する段階と、を含むことを特徴とすることを特徴とする付記6に記載の映像復号方法。
(付記8)
前記映像復号方法は、
最大符号化単位の幅及び高さを分割して基準符号化単位を決定する段階と、
前記基準符号化単位を、前記第1符号化単位として決定する段階と、をさらに含むことを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記9)
前記映像復号方法は、
少なくとも1つの最大符号化単位を含む少なくとも1つのプロセッシングブロックにより、前記映像を分割する段階をさらに含み、
前記少なくとも1つのプロセッシングブロックに含まれた前記少なくとも1つの最大符号化単位の処理順序は、プロセッシングブロックによって異なりうることを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記10)
前記少なくとも1つの第2符号化単位を決定する段階は、
前記第1符号化単位に係わる前記分割形態情報が垂直方向及び水平方向に分割されるということを示すことができる場合、前記第1符号化単位を垂直方向または水平方向に分割し、複数の第2符号化単位を決定する段階を含み、
前記複数の第2符号化単位は、前記第1符号化単位が分割された方向に直交する方向に、前記複数の第2符号化単位がいずれも分割されるものではないということを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記11)
前記映像復号方法は、
前記第1符号化単位、及び前記少なくとも1つの第2符号化単位の長辺長に基づいて、それぞれの符号化単位の深度を決定する段階をさらに含むことを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記12)
前記映像復号方法は、
前記少なくとも1つの第2符号化単位のうち一つが分割されて決定される少なくとも1つの第3符号化単位の処理順序は、前記少なくとも1つの第3符号化単位に係わる第2符号化単位が分割された形態に基づいて決定されうることを特徴とすることを特徴とする付記1に記載の映像復号方法。
(付記13)
映像を復号する装置において、
ビットストリームから、前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得するビットストリーム獲得部と、
獲得した前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を復号する復号部と、を含み、
前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第1符号化単位が前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像復号装置。
(付記14)
映像を符号化させる方法において、
前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成する段階と、
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定する段階と、
前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化させる段階と、を含み、
前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第1符号化単位が、前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化方法。
(付記15)
映像を符号化させる装置において、
前記映像に含まれる第1符号化単位に係わるブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成するビットストリーム生成部と、
前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、前記第1符号化単位に含まれる少なくとも1つの第2符号化単位を決定し、前記少なくとも1つの第2符号化単位に基づいて、前記映像を符号化させる符号化部と、を含み、
前記ブロック形態情報は、前記第1符号化単位の形態を示すことを特徴とし、
前記分割形態情報は、前記第1符号化単位が、前記第2符号化単位に分割されるか、あるいは分割されないかということを示すことを特徴とする映像符号化装置。
【符号の説明】
【0281】
500 第1符号化単位
510 第2符号化単位
520 第3符号化単位
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24