(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022093628
(43)【公開日】2022-06-23
(54)【発明の名称】符号化順序符号化方法及びその装置、該復号方法及びその装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20220616BHJP
H04N 19/96 20140101ALI20220616BHJP
【FI】
H04N19/70
H04N19/96
【審査請求】有
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2022075729
(22)【出願日】2022-05-02
(62)【分割の表示】P 2021065050の分割
【原出願日】2016-11-23
(31)【優先権主張番号】62/259,374
(32)【優先日】2015-11-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ピョ,インジ
(57)【要約】
【課題】
映像の符号化/復号順序を決定する方法及びその装置のためのイントラ予測方法またはインター予測方法。
【解決手段】
互いに隣接した第1ブロック及び第2ブロックの符号化順序変更いかんを示す符号化順序情報を獲得する段階、符号化順序情報により、第1ブロック及び第2ブロックの符号化順序を決定する段階、及び第1ブロック及び第2ブロックを、決定された符号化順に復号する段階を含むことを特徴とするビデオ復号方法が提供される。
【選択図】
図24
【特許請求の範囲】
【請求項1】
上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを示す符号化順序変更許容情報を獲得する段階と、
前記符号化順序変更許容情報によって前記符号化単位間の符号化順序の変更が許容されるとき、前記上位データ単位に含まれた互いに隣接した第1符号化単位及び第2符号化単位のうち、左側に位置した前記第1符号化単位が先に符号化されるか、または、右側に位置した前記第2符号化単位が先に符号化されるかを示す符号化順序情報を獲得する段階と、
前記符号化順序情報によって前記第1符号化単位及び前記第2符号化単位間の符号化順序を決定する段階と、
前記符号化順序変更許容情報によって前記上位データ単位に含まれた符号化単位間の符号化順序の変更が許容されないとき、前記第1符号化単位及び前記第2符号化単位間の符号化順序を前記上位データ単位に含まれた最大符号化単位間の符号化順序と同一になるように決定する段階と、
前記第1符号化単位及び前記第2符号化単位を前記決定された符号化順序によって復号する段階と、を含み、
前記符号化順序変更許容情報は、SPS(Sequence Parameter Set)から獲得され、
前記最大符号化単位間の符号化順序によって、前記最大符号化単位のうち、左側最大符号化単位が右側最大符号化単位よりも先に復号される、
ことを特徴とする、ビデオ復号方法。
【請求項2】
上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを示す符号化順序変更許容情報を獲得し、前記符号化順序変更許容情報によって前記符号化単位間の符号化順序の変更が許容されるとき、前記上位データ単位に含まれた互いに隣接した第1符号化単位及び第2符号化単位のうち、左側に位置した前記第1符号化単位が先に符号化されるか、または、右側に位置した前記第2符号化単位が先に符号化されるかを示す符号化順序情報を獲得する、符号化順序情報獲得部と、
前記符号化順序によって前記第1符号化単位及び前記第2符号化単位間の符号化順序を決定する、符号化順序決定部と、
前記第1符号化単位及び前記第2符号化単位を前記決定された符号化順序によって復号する、復号部と、を含み、
前記符号化順序変更許容情報によって前記上位データ単位に含まれた符号化単位間の符号化順序の変更が許容されないとき、前記符号化順序決定部は、前記第1符号化単位及び前記第2符号化単位間の符号化順序を前記上位データ単位に含まれた最大符号化単位間の符号化順序と同一になるように決定し、
前記符号化順序変更許容情報は、SPS(Sequence Parameter Set)から獲得され、
前記最大符号化単位間の符号化順序によって、前記最大符号化単位のうち、左側最大符号化単位が右側最大符号化単位よりも先に復号される、
ことを特徴とする、ビデオ復号装置。
【請求項3】
上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを決定する段階と、
前記符号化単位間の符号化順序の変更が許容されるとき、前記上位データ単位に含まれた互いに隣接した第1符号化単位及び第2符号化単位のうち、左側に位置した前記第1符号化単位が先に符号化されるか、または、右側に位置した前記第2符号化単位が先に符号化されるかによって、前記第1符号化単位及び前記第2符号化単位間の符号化順序を決定する段階と、
前記上位データ単位に含まれた符号化単位間の符号化順序の変更が許容されないとき、前記第1符号化単位及び前記第2符号化単位間の符号化順序を前記上位データ単位に含まれた最大符号化単位間の符号化順序と同一になるように決定する段階と、
前記決定された符号化順序によって前記第1符号化単位及び前記第2符号化単位を符号化する段階と、
前記上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを示す符号化順序変更許容情報、前記第1符号化単位及び前記第2符号化単位間の前記決定された符号化順序を示す符号化順序情報と前記第1符号化単位の符号化情報及び前記第2符号化単位の符号化情報を含むビットストリームを出力する段階と、を含み、
前記符号化順序変更許容情報は、SPS(Sequence Parameter Set)を介して出力され、
前記最大符号化単位間の符号化順序によって、前記最大符号化単位のうち、左側最大符号化単位が右側最大符号化単位よりも先に符号化される、
ビデオ符号化方法。
【請求項4】
上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを決定し、前記符号化単位間の符号化順序の変更が許容されるとき、前記上位データ単位に含まれた互いに隣接した第1符号化単位及び第2符号化単位のうち、左側に位置した前記第1符号化単位が先に符号化されるか、または、右側に位置した前記第2符号化単位が先に符号化されるかを示す前記第1符号化単位と前記第2符号化単位間の符号化順序を決定し、前記上位データ単位に含まれた符号化単位間の符号化順序の変更が許容されないとき、前記第1符号化単位及び前記第2符号化単位間の符号化順序を前記上位データ単位に含まれた最大符号化単位間の符号化順序と同一になるように決定する、符号化順序決定部と、
前記決定された符号化順序によって前記第1符号化単位及び前記第2符号化単位を符号化する、符号化部と、
前記上位データ単位に含まれた符号化単位間の符号化順序(coding order)の変更を許容するか否かを示す符号化順序変更許容情報、前記第1符号化単位及び前記第2符号化単位間の前記決定された符号化順序を示す符号化順序情報と前記第1符号化単位及び前記第2符号化単位の符号化情報を含むビットストリームを出力する、出力部と、を含み、
前記符号化順序変更許容情報は、SPS(Sequence Parameter Set)を介して出力され、
前記最大符号化単位間の符号化順序によって、前記最大符号化単位のうち、左側最大符号化単位が右側最大符号化単位よりも先に符号化される、
ビデオ符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオの符号化方法及び復号方法に係り、さらに具体的には、映像の符号化/復号順序を決定する方法及びその装置のためのイントラ予測方法またはインター予測方法に関する。
【背景技術】
【0002】
高画質のビデオは、符号化時、多量のデータが要求される。しかし、ビデオデータ伝達のために許容される帯域幅は、限定されており、ビデオデータ伝送時に適用されるデータレートが制限されもする。従って、効率的なビデオデータ伝送のために、画質の劣化を最小化させながら、圧縮率を上昇させたビデオデータの符号化方法及び復号方法が必要である。
【0003】
該ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することによって圧縮される。隣接したピクセル間において共通した特徴を有することが一般的であるために、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。
【0004】
データ単位に含まれたピクセルのピクセル値は、直接伝送されず、ピクセル値を獲得するために必要な方法が伝送される。該ピクセル値を、原本値と類似して予測する予測方法がデータ単位ごとに決定され、該予測方法についての符号化情報が、符号化器から復号器に伝送される。また、予測値が原本値と完全には同一ではないので、該原本値と該予測値との差に係わるレジデュアルデータが、符号化器から復号器に伝送される。
【0005】
予測が正確になるほど、予測方法特定に必要な符号化情報が増大するが、該レジデュアルデータの大きさが低減される。従って、該符号化情報と該レジデュアルデータとの大きさを考慮して予測方法が決定される。特に、ピクチャで分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど、予測正確度が低下する可能性が高い代わりに、符号化情報が減少する。従って、ピクチャの特性に相応するように、ブロックサイズ決定される。
【0006】
また、予測方法には、イントラ予測とインター予測とがある。該イントラ予測は、ブロックの周辺ピクセルからブロックのピクセルを予測する方法である。インター予測は、ブロックが含まれたピクチャが参照する他のピクチャのピクセルを参照し、ピクセルを予測する方法である。従って、イントラ予測により、空間的重複性が除去され、インター予測により、時間的重複性が除去される。
【0007】
予測方法の数が増加するほど、予測方法を示すための符号化情報の量が増加する。従って、ブロックに適用される符号化情報も、他のブロックから予測し、符号化情報の大きさを低減させることができる。
【0008】
人間視覚が認知することができない限度において、ビデオデータの損失が許容されるが、レジデュアルデータを、変換過程及び量子化過程によって損失圧縮(lossy compression)し、レジデュアルデータ量を減少させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0009】
ブロックの最適符号化順序を決定してビデオを符号化するビデオ符号化方法が開示される。また、決定された符号化順序によってビデオを復号するビデオ復号方法が開示される。併せて、本開示の一実施形態によるビデオ符号化方法及びビデオ復号方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が開示される。
【課題を解決するための手段】
【0010】
互いに隣接した第1ブロック及び第2ブロックの符号化順序変更いかんを示す符号化順序情報を獲得する段階、前記符号化順序情報により、前記第1ブロック及び前記第2ブロックの符号化順序を決定する段階、並びに前記第1ブロック及び前記第2ブロックを、決定された符号化順に復号する段階を含むことを特徴とするビデオ復号方法が提供される。
【0011】
互いに隣接した第1ブロック及び第2ブロックの符号化順序変更いかんを決定する段階、前記符号化順序変更いかんにより、前記第1ブロック及び前記第2ブロックを符号化する段階、前記符号化順序変更いかんを示す符号化順序情報と、前記第1ブロック及び前記第2ブロックの符号化情報と、を含むビットストリームを出力する段階を含むビデオ符号化方法が提供される。
【0012】
互いに隣接した第1ブロック及び第2ブロックの符号化順序変更いかんを示す符号化順序情報を獲得する符号化順序情報獲得部、前記符号化順序により、前記第1ブロック及び前記第2ブロックの符号化順序を決定する符号化順序決定部、並びに前記第1ブロック及び前記第2ブロックを、決定された符号化順に復号する復号部を含むことを特徴とするビデオ復号装置が提供される。
【0013】
互いに隣接した第1ブロック及び第2ブロックの符号化順序変更いかんを決定する符号化順序決定部、前記符号化順序変更いかんにより、前記第1ブロック及び前記第2ブロックを符号化する符号化部、並びに前記符号化順序変更いかんを示す符号化順序情報と、前記第1ブロック及び前記第2ブロックの符号化情報と、を含むビットストリームを出力する出力部を含むビデオ符号化装置が提供される。
【0014】
本実施形態がなす技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題が類推される。
【図面の簡単な説明】
【0015】
【
図1A】本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置100のブロック図である。
【
図1B】一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号装置150のブロック図である。
【
図2】一実施形態による、現在符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
【
図3】一実施形態による、非正方形の形態である符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
【
図4】一実施形態による、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図面である。
【
図5】一実施形態による、奇数個の符号化単位のうち所定符号化単位が決定される方法を図示する図面である。
【
図6】一実施形態による、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。
【
図7】一実施形態による、所定順序で符号化単位が処理されない場合、現在符号化単位が奇数個の符号化単位に分割されることによって決定される過程を図示する図面である。
【
図8】一実施形態による、第1符号化単位が分割され、少なくとも1つの符号化単位が決定される過程を図示する図面である。
【
図9】一実施形態によって、第1符号化単位が分割されて決定された非正方形の第2符号化単位が所定条件を満足する場合、第2符号化単位が分割される形態が制限されることを図示する図面である。
【
図10】一実施形態によって、分割形態情報が4個の正方形の符号化単位に分割することを示すことができない場合、正方形の符号化単位が分割される過程を図示する図面である。
【
図11】一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示した図面である。
【
図12】一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。
【
図13】一実施形態による、符号化単位の形態及び大きさによって決定される深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する図面である。
【
図14】一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたことを図示する図面である。
【
図15】一実施形態による、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。
【
図16】ブロックの符号化順序決定に係わる一実施形態によるビデオ復号装置1600を図示する図面である。
【
図17】ブロックの符号化順序決定に係わる一実施形態によるビデオ符号化装置1700を図示する図面である。
【
図18】ブロックの符号化順序変更の必要性について説明するための例を図示する図面である。
【
図19A】ブロックの符号化順序の決定方法に係わる実施形態を図示する図面である。
【
図19B】ブロックの符号化順序の決定方法に係わる実施形態を図示する図面である。
【
図20】ブロックの符号化順序交替いかんを決定するために、符号化効率の比較方法を図示する図面である。
【
図21】ブロックがイントラモードによって予測される場合、使用される参照サンプルを図示する図面である。
【
図22A】ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。
【
図22B】ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。
【
図22C】ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。
【
図22D】ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。
【
図22E】ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を図示する図面である。
【
図23】ブロックがインターモードによって予測される場合、使用される参照ブロックの位置を図示する図面である。
【
図24】一実施形態によるビデオ復号装置1600で遂行されるビデオ復号方法を示す図面である。
【
図25】一実施形態によるビデオ符号化装置1700で遂行されるビデオ符号化方法を示す図面である。
【発明を実施するための形態】
【0016】
開示された実施形態の利点、特徴、及びそれらを達成する方法は、添付される図面と共に後述する実施形態を参照すれば、明確になるであろう。しかし、本開示は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、ただ、本実施形態は、本開示の開示を完全なものにし、本開示が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるものであるのみである。
【0017】
本明細書で使用される用語について簡略に説明し、開示された実施形態について具体的に説明する。
【0018】
本明細書で使用される用語は、本開示での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは、関連分野の当業者の意図または判例、新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本開示で使用される用語は、単純な用語の名称ではない、その用語が有する意味と、本開示の全般にわたる内容とを基に定義されなければならない。
【0019】
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
【0020】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、FPGAまたはASICのようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかし、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されることも可能であり、または、それ以上のプロセッサを再生させるように構成されることも可能である。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素内及び「部」内で提供される機能は、さらに少数の構成要素及び「部」に結合されるか、あるいはさらなる構成要素とさらなる「部」とにさらに分離されもする。
【0021】
「現在ブロック」は、現在、符号化または復号される符号化単位、予測単位及び変換単位のうち一つを意味する。また、「下位ブロック」は、「現在ブロック」から分割されたデータ単位を意味する。そして「上位ブロック」は、「現在ブロック」を含むデータ単位を意味する。
【0022】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。かような少なくとも1つのサンプルを含む単位を、ブロックと定義することができる。
【0023】
以下では、添付した図面を参照し、実施形態について、本開示が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面で本開示について明確に説明するために、説明と関係ない部分は省略する。
【0024】
図1Aは、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置100のブロック図である。
【0025】
映像符号化装置100は、最大符号化単位決定部110、符号化単位決定部120及び出力部130を含む。
【0026】
最大符号化単位決定部110は、最大符号化単位の大きさにより、ピクチャ、またはピクチャに含まれたスライスを、複数の最大符号化単位に分割する。該最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位であり、縦横に大きさが2の自乗である正方形のデータ単位でもある。最大符号化単位決定部110は、該最大符号化単位の大きさを示す最大符号化単位サイズ情報を出力部130に提供することができる。そして、出力部130は、最大符号化単位サイズ情報をビットストリームに含めることができる。
【0027】
符号化単位決定部120は、最大符号化単位を分割して符号化単位を決定する。該符号化単位は、最大サイズ及び最大深度と決定される。深度とは、最大符号化単位から、符号化単位が、空間的に分割された回数と定義されることができる。該深度が1増加するたびに、該符号化単位は、2個以上の符号化単位に分割される。従って、該深度が増大するほど、深度別符号化単位の大きさは、小さくなる。該符号化単位の分割いかんは、率・歪曲最適化(rate-distortion optimization)により、符号化単位分割が効率的であるか否かということによって決定される。そして、該符号化単位が分割されたか否かということを示す分割情報が生成される。該分割情報は、フラグ形態によっても表現される。
【0028】
該符号化単位は、多様な方法によっても分割される。例えば、正方形の符号化単位は、幅及び高さが半分である4個の正方形の符号化単位にも分割される。正方形の符号化単位は、幅が半分である2個の長方形の符号化単位にも分割される。正方形の符号化単位は、高さが半分である2個の長方形の符号化単位にも分割される。正方形の符号化単位は、幅または高さを1:2:1に分割することにより、3つの符号化単位にも分割される。
【0029】
幅が高さの2倍である長方形の符号化単位は、2個の正方形の符号化単位にも分割される。幅が高さの2倍である長方形の符号化単位は、2個の幅が高さの4倍である長方形の符号化単位にも分割される。幅が高さの2倍である長方形の符号化単位は、幅を1:2:1に分割することにより、2個の長方形の符号化単位と、1つの正方形の符号化単位とに分割される。
【0030】
同様に、高さが幅の2倍である長方形の符号化単位は、2個の正方形の符号化単位にも分割される。また、高さが幅の2倍である長方形の符号化単位は、2個の高さが幅の4倍である長方形の符号化単位にも分割される。同様に、高さが幅の2倍である長方形の符号化単位は、高さを1:2:1に分割することにより、2個の長方形の符号化単位と、1つの正方形の符号化単位とに分割される。
【0031】
映像符号化装置100において、2個以上の分割方法が使用可能である場合、映像符号化装置100で使用可能な分割方法のうち、符号化単位に使用される分割方法に係わる情報が、ピクチャごとに決定される。従って、ピクチャごとに特定の分割方法だけが使用されるように、決定されもする。もし映像符号化装置100が1つの分割方法のみ使用する場合、符号化単位に使用される分割方法に係わる情報は、別途に決定されない。
【0032】
該符号化単位の分割情報が、符号化単位が分割されることを示すとき、該符号化単位の分割方法を示す分割形態情報が生成される。もし該符号化単位が属したピクチャで使用される分割方法が一つである場合、分割形態情報が生成されない。もし該分割方法が符号化単位周辺の符号化情報に適応的に決定される場合、該分割形態情報は、生成されない。
【0033】
最大符号化単位は、最小符号化単位サイズ情報により、最小符号化単位まで分割される。該最大符号化単位の深度が最上位深度であり、該最小符号化単位が最下位深度と定義されもする。従って、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【0034】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データは、最大符号化単位に分割される。そして、該最大符号化単位は、深度別に分割される符号化単位を含んでもよい。該最大符号化単位は、深度別に分割されるので、該最大符号化単位に含まれた空間領域(spatial domain)の映像データが、深度によって階層的に分類される。
【0035】
該最大符号化単位を階層的に分割することができる最大回数を制限する最大深度、または符号化単位の最小サイズがあらかじめ設定されている。
【0036】
符号化単位決定部120は、符号化単位を階層的に分割したときの符号化効率と、符号化単位を分割しなかったときの符号化効率とを比較する。そして、符号化単位決定部120は、比較結果により、符号化単位を分割するか否かということを決定する。もし符号化単位の分割がさらに効率的であると決定された場合、符号化単位決定部120は、符号化単位を階層的に分割する。もし比較結果により、符号化単位を分割しない方が効率的であると決定された場合、符号化単位を分割しない。符号化単位の分割いかんは、隣接した他の符号化単位の分割いかんに独立しても決定される。
【0037】
一実施形態によれば、符号化単位の分割いかんは、符号化過程において、深度が大きい符号化単位からも決定される。例えば、最大深度の符号化単位と、最大深度より1ほど小さい符号化単位との符号化効率が比較され、最大符号化単位の各領域ごとに、最大深度の符号化単位と、最大深度より1ほど小さい符号化単位とのうちいずれがさらに効率的に符号化されるということが判断される。そして、該判断結果により、最大符号化単位の各領域ごとに、最大深度より1ほど小さい符号化単位の分割いかんが決定される。その後、該最大符号化単位の各領域ごとに、最大深度より2ほど小さい符号化単位と、前述の判断結果に基づいて選択された最大深度より1ほど小さい符号化単位と、最小深度の符号化単位との組み合わせのうちいずれがさらに効率的に符号化されるかということが判断される。同一判断過程が、深度が小さい符号化単位に対して順次に遂行され、最終的に、最大符号化単位と、最大符号化単位が階層的に分割されて生成された階層構造とのうちいずれがさらに効率的に符号化されるかということにより、最大符号化単位の分割いかんが決定される。
【0038】
符号化単位の分割いかんは、符号化過程において、深度が小さい符号化単位から決定される。例えば、最大符号化単位と、最大符号化単位より1ほど深度が大きい符号化単位との符号化効率が比較され、最大符号化単位と、最大符号号単位より1ほど深度が大きい符号化単位とのうちいずれがさらに効率的に符号化されるかということが判断される。もし最大符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割されない。もし最大符号化単位より1ほど深度が大きい符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割され、分割された符号化単位に対して、同一比較過程が反復される。
【0039】
深度が大きい符号化単位から符号化効率を検討する場合、演算量が多いが、符号化効率が高いツリー構造を獲得することができる。反対に、深度が小さい符号化単位から符号化効率を検討する場合、演算量が少ないが、符号化効率が低いツリー構造を獲得することができる。従って、符号化効率と演算量とを考慮し、最大符号化単位の階層的ツリー構造を獲得するためのアルゴリズムが多様な方法によっても設計される。
【0040】
符号化単位決定部120は、深度別符号化単位の効率性を判断するために、符号化単位に最も効率的な予測及び変換方法を決定する。該符号化単位は、最も効率的な予測及び変換方法を決定するために、所定データ単位にも分割される。該データ単位は、符号化単位の分割方法により、多様な形態を有することができる。該データ単位を決定するための符号化単位の分割方法は、パーティションモードとも定義される。例えば、サイズ2Nx2N(ただし、Nは、正の整数)の符号化単位が分割されない場合、符号化単位に含まれた予測単位の大きさは、2Nx2Nになる。サイズ2Nx2Nの符号化単位が分割される場合、符号化単位に含まれた予測単位の大きさは、パーティションモードにより、2NxN、Nx2N、NxNなどにもなる。一実施形態によるパーティションモードは、符号化単位の高さまたは幅が対称的比率に分割された対称的データ単位だけではなく、1:nまたはn:1のように、非対称的比率に分割されたデータ単位、斜線方向に分割されたデータ単位、その他幾何学的な形態に分割されたデータ単位、任意的形態のデータ単位を生成することができる。
【0041】
該符号化単位は、該符号化単位に含まれたデータ単位を基準に、予測及び変換が行われる。しかし、一実施形態により、予測のためのデータ単位と、変換のためのデータ単位とが別途にも決定される。予測のためのデータ単位は、予測単位と定義され、変換のためのデータ単位は、変換単位とも定義される。該予測単位で適用されるパーティションモードと、該変換単位で適用されるパーティションモードは、互いに異なり、符号化単位において、予測単位の予測と、変換単位の変換は、並列して独立しても行われる。
【0042】
該符号化単位は、効率的な予測方法を決定するために、1以上の予測単位にも分割される。同様に、該符号化単位は、効率的な変換方法を決定するために、1以上の変換単位にも分割される。該予測単位の分割と、該変換単位の分割は、独立しても行われる。しかし、該符号化単位内部の復元サンプルが、イントラ予測に使用される場合、該符号化単位に含まれた予測単位または変換単位の間に、従属的関係が形成されるので、該予測単位と該変換単位との分割は、互いに影響を及ぼす。
【0043】
該符号化単位に含まれた予測単位は、イントラ予測またはインター予測によって予測される。該イントラ予測は、予測単位周辺の参照サンプルを利用して、予測単位のサンプルを予測する方法である。該インター予測は、現在ピクチャが参照する参照ピクチャから参照サンプルを獲得し、予測単位のサンプルを予測する方法である。
【0044】
符号化単位決定部120は、イントラ予測のために、複数のイントラ予測方法を予測単位に適用し、最も効率的なイントラ予測方法を選択することができる。該イントラ予測方法には、DCモード、プレーナ(planar)モード、垂直モード及び水平モードのような方向性(directional)モードなどが含まれる。
【0045】
該イントラ予測は、符号化単位周辺の復元サンプルを、参照サンプルとして使用する場合、予測単位ごとに行われる。しかし、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、該符号化単位内部の参照サンプルの復元が予測より優先されなければならないので、該変換単位の変換順序に、予測単位の予測順序が従属する。従って、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、該予測単位に対して、該予測単位に対応する変換単位に対するイントラ予測方法だけが決定され、実質的なイントラ予測は、変換単位ごとに行われる。
【0046】
符号化単位決定部120は、最適の動きベクトル及び参照ピクチャを決定することにより、最も効率的なインター予測方法を選択することができる。符号化単位決定部120は、インター予測のために、現在符号化単位から空間的、時間的に隣接する符号化単位から、複数の動きベクトル候補を決定し、そのうち、最も効率的な動きベクトルを動きベクトルとして決定することができる。同様に、現在符号化単位から空間的、時間的に隣接する符号化単位から、複数の参照ピクチャ候補を決定し、そのうち、最も効率的な参照ピクチャを決定することができる。一実施形態により、参照ピクチャは、現在ピクチャに対してあらかじめ決定された参照ピクチャリストのうち決定される。一実施形態より、予測の正確性のために、複数の動きベクトル候補のうち、最も効率的な動きベクトルを予測動きベクトルとして決定し、該予測動きベクトルを補正し、動きベクトルを決定することができる。該インター予測は、符号化単位内部の予測単位別に、並列的に行われる。
【0047】
符号化単位決定部120は、スキップモードにより、動きベクトル及び参照ピクチャを示す情報のみを獲得し、符号化単位を復元することができる。該スキップモードによれば、動きベクトル及び参照ピクチャを示す情報を除き、残差信号を含んだ全ての符号化情報が省略される。該残差信号が省略されるので、予測の正確性が非常に高い場合、該スキップモードが使用される。
【0048】
該予測単位に係わる予測方法によって使用されるパーティションモードが制限される。例えば、イントラ予測には、2Nx2N,NxNサイズの予測単位に係わるパーティションモードだけが適用される一方、インター予測には、2Nx2N,2NxN,Nx2N,NxNサイズの予測単位に係わるパーティションモードが適用される。また、該インター予測のスキップモードには、2Nx2Nサイズの予測単位に係わるパーティションモードだけが適用される。映像符号化装置100において、各予測方法に対して許容されるパーティションモードは、符号化効率によっても変更される。
【0049】
映像符号化装置100は、符号化単位、または符号化単位に含まれた変換単位を基準に変換を行うことができる。映像符号化装置100は、符号化単位に含まれたピクセルに係わる原本値と、予測値との差値であるレジデュアルデータを、所定過程を経て変換させることができる。例えば、映像符号化装置100は、レジデュアルデータを、量子化及びDCT/DST変換を介して損失圧縮を行うことができる。または、映像符号化装置100は、レジデュアルデータを、量子化なしに無損失圧縮を行うことができる。
【0050】
映像符号化装置100は、量子化及び変換に最も効率的な変換単位を決定することができる。ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度により、ツリー構造による変換単位によって区画される。そして、映像符号化装置100は、決定された変換単位のツリー構造により、符号化単位及び変換単位の分割に係わる変換分割情報を生成することができる。
【0051】
映像符号化装置100は、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが、2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深度1、変換単位の大きさがN/2xN/2であるならば、変換深度2にも設定される。すなわち、変換深度により、ツリー構造による変換単位が設定される。
【0052】
結論として、符号化単位決定部120は、複数のイントラ予測方法及びインター予測方法のうち、現在予測単位に最も効率的な予測方法を決定する。そして、符号化単位決定部120は、予測結果による符号化効率により、予測単位決定方式を判断する。同様に、符号化単位決定部120は、変換結果による符号化効率により、変換単位決定方式を判断する。最も効率的な予測単位と変換単位との決定方式により、最終的に符号化単位の符号化効率が決定される。符号化単位決定部120は、各深度別符号化単位の符号化効率により、最大符号化単位の階層構造を確定する。
【0053】
符号化単位決定部120は、深度別符号化単位の符号化効率性、予測方法の予測効率性などを、ラグランジュ乗数(Lagrangian multiplier)基盤の率・歪曲最適化技法(rate-distortion optimization)を利用して測定することができる。
符号化単位決定部120は、決定された最大符号化単位の階層構造により、符号化単位の深度別分割いかんを示す分割情報を生成することができる。そして、符号化単位決定部120は、分割が完了した符号化単位に対して、予測単位の決定のためのパーティションモード情報、及び変換単位の決定のための変換単位分割情報を生成することができる。また、符号化単位決定部120は、符号化単位の分割方法が2個以上である場合、該分割方法を示す分割形態情報を、分割情報と共に生成することができる。そして、符号化単位決定部120は、予測単位及び変換単位に使用された予測方法及び変換方法に係わる情報を生成することができる。
【0054】
出力部130は、最大符号化単位の階層構造により、最大符号化単位決定部110及び符号化単位決定部120が生成した情報をビットストリーム形態に出力することができる。
【0055】
一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位及び変換単位の決定方式については、
図3ないし
図12を参照して詳細に後述する。
【0056】
図1Bは、一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置150のブロック図である。
【0057】
映像復号装置150は、受信部160、符号化情報抽出部170及び復号部180を含む。
【0058】
一実施形態による映像復号装置150の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、
図1及び映像符号化装置100を参照して説明したところと同一である。また、映像復号装置150の目的が、映像データの復元であるが、映像符号化装置100で使用された多様な符号化方法が、映像復号装置150にも適用される。
【0059】
受信部160は、符号化されたビデオに係わるビットストリームを受信してパージングする。符号化情報抽出部170は、パージングされたビットストリームから、最大符号化単位別に復号に必要な情報を抽出し、復号部180に提供する。符号化情報抽出部170は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【0060】
また、符号化情報抽出部170は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、復号部180に出力される。復号部180は、最大符号化単位を、抽出された最終深度及び分割情報によって分割し、最大符号化単位のツリー構造を決定することができる。
【0061】
符号化情報抽出部170が抽出した分割情報は、映像符号化装置100によって、最小符号化誤差を発生させると決定されたツリー構造に係わる分割情報である。従って、映像復号装置150は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。
【0062】
符号化情報抽出部170は、符号化単位に含まれた予測単位及び変換単位のようなデータ単位に係わる分割情報を抽出することができる。例えば、符号化情報抽出部170は、予測単位に係わる最も効率的なパーティションモードに係わる情報を抽出することができる。そして、符号化情報抽出部170は、変換単位において、最も効率的なツリー構造に係わる変換分割情報を抽出することができる。
【0063】
また、符号化情報抽出部170は、符号化単位から分割された予測単位に対して、最も効率的な予測方法に係わる情報を獲得することができる。そして、符号化情報抽出部170は、符号化単位から分割された変換単位に対して、最も効率的な変換方法に係わる情報を獲得することができる。
【0064】
符号化情報抽出部170は、映像符号化装置100の出力部130から、ビットストリームを構成する方式により、ビットストリームから情報を抽出する。
【0065】
復号部180は、分割情報に基づいて、最大符号化単位を最も効率的なツリー構造を持った符号化単位に分割することができる。そして、復号部180は、パーティションモードに係わる情報によって、符号化単位を予測単位に分割することができる。復号部180は、変換分割情報により、符号化単位を変換単位に分割することができる。
【0066】
復号部180は、予測単位を、予測方法に係わる情報によって予測することができる。そして、復号部180は、変換単位を、変換方法に係わる情報により、ピクセルの原本値と予測値との差に該当するレジデュアルデータを、逆量子化及び逆変換することができる。また、復号部180は、予測単位の予測結果と、変換単位の変換結果とにより、符号化単位のピクセルを復元することができる。
【0067】
図2は、一実施形態による映像復号装置150が、現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0068】
一実施形態による映像復号装置150は、ブロック形態情報を利用して、符号化単位の形態を決定することができ、分割形態情報を利用して、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置150が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定される。
【0069】
一実施形態により、映像復号装置150は、現在符号化単位が正方形であるということを示すブロック形態情報を利用することができる。例えば、映像復号装置150は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは4個の符号化単位に分割するというようなことを決定することができる。
図2を参照すれば、現在符号化単位200のブロック形態情報が正方形の形態を示す場合、復号部180は、分割されないことを示す分割形態情報により、現在符号化単位200と同一サイズを有する符号化単位210aを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位210b,210c,210dなどを決定することができる。
【0070】
図2を参照すれば、映像復号装置150は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づいて、現在符号化単位200を垂直方向に分割した2つの符号化単位210bを決定することができる。映像復号装置150は、水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位200を水平方向に分割した2つの符号化単位210cを決定することができる。映像復号装置150は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位200を、垂直方向及び水平方向に分割した4つの符号化単位210dを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定分割形態は、以下で、多様な実施形態を介して具体的に説明する。
【0071】
図3は、一実施形態による映像復号装置150が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0072】
一実施形態による映像復号装置150は、現在符号化単位が非正方形であることを示すブロック形態情報を利用することができる。映像復号装置150は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。
図3を参照すれば、現在符号化単位300または350のブロック形態情報が非正方形の形態を示す場合、映像復号装置150は、分割されないことを示す分割形態情報により、現在符号化単位300または350と同一サイズを有する符号化単位310または360を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位320a,320b,330a,330b,330c,370a,370b,380a,380b,380cを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で、多様な実施形態を介して具体的に説明する。
【0073】
一実施形態による映像復号装置150は、分割形態情報を利用して、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示すことができる。
図3を参照すれば、該分割形態情報が2つの符号化単位に、現在符号化単位300または350が分割されることを示す場合、映像復号装置150は、分割形態情報に基づいて、現在符号化単位300または350を分割し、現在符号化単位に含まれる2つの符号化単位320a,320bまたは370a,370bを決定することができる。
【0074】
一実施形態による映像復号装置150が、分割形態情報に基づいて、非正方形の形態の現在符号化単位300または350を分割する場合、非正方形の現在符号化単位300または350の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置150は、現在符号化単位300または350の形態を考慮し、現在符号化単位300または350の長辺を分割する方向に、現在符号化単位300または350を分割し、複数個の符号化単位を決定することができる。
【0075】
一実施形態により、分割形態情報が、奇数個のブロックに符号化単位を分割することを示す場合、映像復号装置150は、現在符号化単位300または350に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が、3個の符号化単位に、現在符号化単位300または350を分割することを示す場合、映像復号装置150は、現在符号化単位300または350を、3個の符号化単位330a,330b,330c,380a,380b,380cに分割することができる。一実施形態による映像復号装置150は、現在符号化単位300または350に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさが、いずれも同一ではないこともある。例えば、決定された奇数個の符号化単位330a,330b,330c,380a,380b,380cにおいて、所定符号化単位330bまたは380bの大きさは、他の符号化単位330a,330c,380a,380cとは異なる大きさを有することもできる。すなわち、現在符号化単位300または350が分割されて決定される符号化単位は、複数種の大きさを有することができる。
【0076】
一実施形態により、分割形態情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置150は、現在符号化単位300または350に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置150は、分割して生成される奇数個の符号化単位のうち少なくとも1つの符号化単位に対して、所定制限を置くことができる。
図3を参照すれば、映像復号装置150は、現在符号化単位300または350が分割されて生成された3個の符号化単位330a,330b,330c,380a,380b,380cのうち、中央に位置する符号化単位330b,380bに対する復号過程を、他の符号化単位330a,330c,380a,380cと異なるようにすることができる。例えば、映像復号装置150は、中央に位置する符号化単位330b,380bについては、他の符号化単位330a,330c,380a,380cと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどだけ分割されるように制限することができる。
【0077】
図4は、一実施形態による映像復号装置150が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
【0078】
一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形の第1符号化単位400を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、該分割形態情報が、水平方向に、第1符号化単位400を分割することを示す場合、映像復号装置150は、第1符号化単位400を水平方向に分割し、第2符号化単位410を決定することができる。一実施形態によって利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定される。以下では、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるものと理解する。
【0079】
一実施形態による映像復号装置150は、決定された第2符号化単位410を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。
図4を参照すれば、映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位400を分割して決定された非正方形の形態の第2符号化単位410を、少なくとも1つの第3符号化単位420a,420b,420c,420dなどに分割するか、あるいは第2符号化単位410を分割しないこともある。映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、映像復号装置150は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位400を分割し、例えば、多様な形態の複数個の第2符号化単位410を分割することができ、第2符号化単位410は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位400が分割された方式によっても分割される。一実施形態により、第1符号化単位400が、第1符号化単位400に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第2符号化単位410に分割された場合、第2符号化単位410も、第2符号化単位410に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第3符号化単位420a,420b,420c,420dなどにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的にも分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【0080】
一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第3符号化単位420a,420b,420c,420dなどそれぞれを符号化単位に分割するか、あるいは第2符号化単位410を分割しないと決定することができる。映像復号装置150は、一実施形態により、非正方形の第2符号化単位410を、奇数個の第3符号化単位420b,420c,420dに分割することができる。映像復号装置150は、奇数個の第3符号化単位420b,420c,420dにおいて、所定第3符号化単位に対して所定制限を置くことができる。例えば、映像復号装置150は、奇数個の第3符号化単位420b,420c,420dのうち真ん中に位置する符号化単位420cについては、それ以上分割されないと制限するか、あるいは設定可能な回数で分割されなければならないと制限することができる。
図4を参照すれば、映像復号装置150は、非正方形の第2符号化単位410に含まれる奇数個の第3符号化単位420b,420c,420dのうち真ん中に位置する符号化単位420cは、それ以上分割されないか、所定分割形態に分割(例えば、4個の符号化単位にのみ分割するか、あるいは第2符号化単位410が分割された形態に対応する形態に分割する)されると制限するか、あるいは所定回数だけで分割(例えば、n回だけ分割(n>0)する)すると制限することができる。ただし、真ん中に位置した符号化単位420cに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位420cが、異なる符号化単位420b,420dと異なるように復号される多様な制限を含むと解釈されなければならない。
【0081】
一実施形態による映像復号装置150は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
【0082】
図13は、一実施形態による映像復号装置150が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。
図13を参照すれば、現在符号化単位1300のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位1300に含まれる複数個のサンプルのうち、所定位置のサンプル(例えば、真ん中に位置するサンプル1340)で獲得される。ただし、かようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位1300内の所定位置は、
図13で図示する真ん中の位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位1300内に含まれる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など)が含まれると解釈されなければならない。映像復号装置150は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
【0083】
一実施形態による映像復号装置150は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものがあり、かような方法に係わる説明は、以下の多様な実施形態を介して後述する。
【0084】
一実施形態による映像復号装置150は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【0085】
図5は、一実施形態による映像復号装置150が、奇数個の符号化単位のうち、所定位置の符号化単位を決定するための方法を図示する。
【0086】
一実施形態による映像復号装置150は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。
図5を参照すれば、映像復号装置150は、現在符号化単位500を分割し、奇数個の符号化単位520a,520b,520cを決定することができる。映像復号装置150は、奇数個の符号化単位520a,520b,520cの位置に係わる情報を利用し、真ん中符号化単位520bを決定することができる。例えば、映像復号装置150は、符号化単位520a,520b,520cに含まれる所定サンプルの位置を示す情報に基づいて、符号化単位520a,520b,520cの位置を決定することにより、真ん中に位置する符号化単位520bを決定することができる。具体的には、映像復号装置150は、符号化単位520a,520b,520cの左側上端のサンプル530a,530b,530cの位置を示す情報に基づいて、符号化単位520a,520b,520cの位置を決定することにより、真ん中に位置する符号化単位520bを決定することができる。
【0087】
一実施形態により、符号化単位520a,520b,520cにそれぞれ含まれる左側上端のサンプル530a,530b,530cの位置を示す情報は、符号化単位520a,520b,520cのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位520a,520b,520cにそれぞれ含まれる左側上端のサンプル530a,530b,530cの位置を示す情報は、現在符号化単位500に含まれる符号化単位520a,520b,520cの幅または高さを示す情報を含んでもよく、かような幅または高さは、符号化単位520a,520b,520cのピクチャ内での座標間差を示す情報に該当する。すなわち、映像復号装置150は、符号化単位520a,520b,520cのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位520bを決定することができる。
【0088】
一実施形態により、上端符号化単位520aの左側上端のサンプル530aの位置を示す情報は、(xa,ya)座標を示すことができ、真ん中符号化単位520bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示すことができ、下端符号化単位520cの左側上端のサンプル530cの位置を示す情報は、(xc,yc)座標を示すことができる。映像復号装置150は、符号化単位520a,520b,520cにそれぞれ含まれる左側上端のサンプル530a,530b,530cの座標を利用し、真ん中符号化単位520bを決定することができる。例えば、左側上端のサンプル530a,530b,530cの座標を昇順または降順に整列したとき、真ん中に位置するサンプル530bの座標である(xb,yb)を含む符号化単位520bを、現在符号化単位500が分割されて決定された符号化単位520a,520b,520cのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル530a,530b,530cの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位520aの左側上端のサンプル530aの位置を基準に、真ん中符号化単位520bの左側上端のサンプル530bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位520cの左側上端のサンプル530cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法によって解釈されなければならない。
【0089】
一実施形態による映像復号装置150は、現在符号化単位500を、複数個の符号化単位520a,520b,520cに分割することができ、符号化単位520a,520b,520cのうち、所定基準によって符号化単位を選択することができる。例えば、映像復号装置150は、符号化単位520a,520b,520cにおいて、大きさが異なる符号化単位520bを選択することができる。
【0090】
一実施形態による映像復号装置150は、上端符号化単位520aの左側上端のサンプル530aの位置を示す情報である(xa,ya)座標、真ん中符号化単位520bの左側上端のサンプル530bの位置を示す情報である(xb,yb)座標、下端符号化単位520cの左側上端のサンプル530cの位置を示す情報である(xc,yc)座標を利用し、符号化単位520a,520b,520cそれぞれの幅または高さを決定することができる。映像復号装置150は、符号化単位520a,520b,520cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位520a,520b,520cそれぞれの大きさを決定することができる。
【0091】
一実施形態により、映像復号装置150は、上端符号化単位520aの幅を、xb-xaと決定することができ、高さを、yb-yaと決定することができる。一実施形態による映像復号装置150は、真ん中符号化単位520bの幅を、xc-xbと決定することができ、高さを、yc-ybと決定することができる。一実施形態による映像復号装置150は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位520a、並びに真ん中符号化単位520bの幅及び高さと、を使用して決定することができる。映像復号装置150は、決定された符号化単位520a,520b,520cの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。
図5を参照すれば、映像復号装置150は、上端符号化単位520a及び下端符号化単位520cの大きさと異なる大きさを有する真ん中の符号化単位520bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置150が異なる符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【0092】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されると解釈される。
【0093】
一実施形態による映像復号装置150は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより長い非正方形であるならば、映像復号装置150は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置150は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より長い非正方形であるならば、映像復号装置150は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置150は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
【0094】
一実施形態による映像復号装置150は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置150は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、
図5で述べた奇数個の符号化単位のうち、所定位置(例えば、真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略する。
【0095】
一実施形態により、非正方形の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置150は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
【0096】
図5を参照すれば、映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位500を、複数個の符号化単位520a,520b,520cに分割することができ、複数個の符号化単位520a,520b,520cのうち、真ん中に位置する符号化単位520bを決定することができる。さらには、映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位520bを決定することができる。すなわち、現在符号化単位500のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位500の真ん中に位置するサンプル540から獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位500が、複数個の符号化単位520a,520b,520cに分割された場合、前記サンプル540を含む符号化単位520bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程で利用される。
【0097】
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルから獲得される。
図5を参照すれば、映像復号装置150は、現在符号化単位500が分割されて決定された複数個の符号化単位520a,520b,520cにおいて、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位500内の所定位置のサンプル(例えば、現在符号化単位500の真ん中に位置するサンプル)から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、映像復号装置150は、現在符号化単位500のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置150は、現在符号化単位500が分割されて決定される複数個の符号化単位520a,520b,520cのうち、所定情報(例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ)が獲得されるサンプルが含まれた符号化単位520bを決定し、所定制限を置くことができる。
図5を参照すれば、一実施形態による映像復号装置150は、所定情報が獲得されるサンプルとして、現在符号化単位500の真ん中に位置するサンプル540を決定することができ、映像復号装置150は、かようなサンプル540が含まれる符号化単位520bに対して、復号過程での所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、該制限を置くために決定する符号化単位520bに含まれる任意の位置のサンプルと解釈される。
【0098】
一実施形態により、所定情報が獲得されるサンプル位置は、現在符号化単位500の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によっては、所定情報が獲得されるサンプルの位置を決定することができる。例えば、映像復号装置150は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち、少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルと決定することができる。他の例を挙げれば、映像復号装置150は、現在符号化単位に係わるブロック形態情報が非正方形であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルと決定することができる。
【0099】
一実施形態による映像復号装置150は、現在符号化単位を複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置150は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、
図4を介して説明したので、詳細な説明は、省略する。
【0100】
一実施形態による映像復号装置150は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、かような少なくとも1つの符号化単位が復号される順序を、所定ブロック(例えば、現在符号化単位)によって決定することができる。
【0101】
図6は、一実施形態による映像復号装置150が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【0102】
一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報により、第1符号化単位600を垂直方向に分割し、第2符号化単位610a,610bを決定するか、第1符号化単位600を水平方向に分割し、第2符号化単位630a,630bを決定するか、あるいは第1符号化単位600を垂直方向及び水平方向に分割し、第2符号化単位650a,650b,650c,650dを決定することができる。
【0103】
図6を参照すれば、映像復号装置150は、第1符号化単位600を垂直方向に分割して決定された第2符号化単位610a,610bを、水平方向610cに処理されるように、順序を決定することができる。映像復号装置150は、第1符号化単位600を水平方向に分割して決定された第2符号化単位630a,630bの処理順序を、垂直方向630cと決定することができる。映像復号装置150は、第1符号化単位600を、垂直方向及び水平方向に分割して決定された第2符号化単位650a,650b,650c,650dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序(例えば、ラスタスキャン順序(raster scan order)またはzスキャン順序(z scan order)650eなど)によって決定することができる。
【0104】
一実施形態による映像復号装置150は、符号化単位を再帰的に分割することができる。
図6を参照すれば、映像復号装置150は、第1符号化単位600を分割し、複数個の符号化単位610a,610b,630a,630b,650a,650b,650c,650dを決定することができ、決定された複数個の符号化単位610a,610b,630a,630b,650a,650b,650c,650dそれぞれを、再帰的に分割することができる。複数個の符号化単位610a,610b,630a,630b,650a,650b,650c,650dを分割する方法は、第1符号化単位600を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位610a,610b,630a,630b,650a,650b,650c,650dは、それぞれ独立して複数個の符号化単位にも分割される。
図6を参照すれば、映像復号装置150は、第1符号化単位600を垂直方向に分割し、第2符号化単位610a,610bを決定することができ、さらには、第2符号化単位610a,610bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
【0105】
一実施形態による映像復号装置150は、左側の第2符号化単位610aを水平方向に分割し、第3符号化単位620a,620bに分割することができ、右側の第2符号化単位610bは、分割しない。
【0106】
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいて決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置150は、左側の第2符号化単位610aが分割されて決定された第3符号化単位620a,620bが処理される順序を、右側の第2符号化単位610bと独立して決定することができる。左側の第2符号化単位610aが水平方向に分割され、第3符号化単位620a,620bが決定されたので、第3符号化単位620a,620bは、垂直方向620cに処理される。また、左側の第2符号化単位610a及び右側の第2符号化単位610bが処理される順序は、水平方向610cに該当するので、左側の第2符号化単位610aに含まれる第3符号化単位620a,620bが、垂直方向620cに処理された後、右側符号化単位610bが処理される。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理される多様な方法に利用されると解釈されなければならない。
【0107】
図7は、一実施形態による映像復号装置150が、所定順序で符号化単位が処理されない場合、現在符号化単位が、奇数個の符号化単位に分割されるか否かということを決定する過程を図示する。
【0108】
一実施形態による映像復号装置150は、獲得されたブロック形態情報及び分割形態情報に基づいて、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。
図7を参照すれば、正方形の第1符号化単位700が非正方形の第2符号化単位710a,710bに分割され、第2符号化単位710a,710bは、それぞれ独立して、第3符号化単位720a,720b,720c,720d,720eにも分割される。一実施形態による映像復号装置150は、第2符号化単位のうち左側符号化単位710aは、水平方向に分割され、複数個の第3符号化単位720a,720bを決定することができ、右側符号化単位710bは、奇数個の第3符号化単位720c,720d,720eに分割される。
【0109】
一実施形態による映像復号装置150は、第3符号化単位720a,720b,720c,720d,720eが、所定順序に処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。
図7を参照すれば、映像復号装置150は、第1符号化単位700を再帰的に分割し、第3符号化単位720a,720b,720c,720d,720eを決定することができる。映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位700、第2符号化単位710a,710bまたは第3符号化単位720a,720b,720c,720d,720eが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位710a,710bのうち、右側に位置する符号化単位が、奇数個の第3符号化単位720c,720d,720eにも分割される。第1符号化単位700に含まれる複数個の符号化単位が処理される順序は、所定順序(例えば、zスキャン順序(z-scan order)730)にもなり、映像復号装置150は、右側第2符号化単位710bが奇数個に分割されて決定された第3符号化単位720c,720d,720eが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。
【0110】
一実施形態による映像復号装置150は、第1符号化単位700に含まれる第3符号化単位720a,720b,720c,720d,720eが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位720a,720b,720c,720d,720eの境界により、第2符号化単位710a,710bの幅及び高さのうち、少なくとも一つを半分に分割するか否かということに係わる。例えば、非正方形の左側第2符号化単位710aの高さを半分に分割して決定される第3符号化単位720a,720bは、条件を満足するが、右側第2符号化単位710bを、3個の符号化単位に分割して決定される第3符号化単位720c,720d,720eの境界が、右側第2符号化単位710bの幅または高さを半分に分割することができないので、第3符号化単位720c,720d,720eは、条件を満足することができないと決定され、映像復号装置150は、かような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、判断結果に基づいて、右側第2符号化単位710bは、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置150は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して、所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0111】
図8は、一実施形態による映像復号装置150が、第1符号化単位800を分割し、少なくとも1つの符号化単位を決定する過程を図示する。一実施形態による映像復号装置150は、受信部160を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位800を分割することができる。正方形の第1符号化単位800は、4個の正方形を有する符号化単位に分割されるか、あるいは非正方形の複数個の符号化単位に分割することができる。例えば、
図8を参照すれば、ブロック形態情報が、第1符号化単位800は、正方形であるということを示し、分割形態情報が、非正方形の符号化単位に分割されるということを示す場合、映像復号装置150は、第1符号化単位800を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第1符号化単位800を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定するということを示す場合、映像復号装置150は、正方形の第1符号化単位800を、奇数個の符号化単位として垂直方向に分割されて決定された第2符号化単位810a,810b,810c、または水平方向に分割されて決定された第2符号化単位820a,820b,820cに分割することができる。
【0112】
一実施形態による映像復号装置150は、第1符号化単位800に含まれる第2符号化単位810a,810b,810c,820a,820b,820cが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位810a,810b,810c,820a,820b,820cの境界により、第1符号化単位800の幅及び高さのうち少なくとも一つを半分に分割するか否かということに係わる。
図8を参照すれば、正方形の第1符号化単位800を垂直方向に分割して決定される第2符号化単位810a,810b,810cの境界が、第1符号化単位800の幅を半分に分割することができないので、第1符号化単位800は、所定順序によって処理される条件を満足することができないと決定される。また、正方形の第1符号化単位800を水平方向に分割して決定される第2符号化単位820a,820b,820cの境界が、第1符号化単位800の幅を半分に分割することができないので、第1符号化単位800は、所定順序によって処理されることができる条件を満足することができないと決定される。映像復号装置150は、かような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づいて、第1符号化単位800は、奇数個の符号化単位に分割されることによって決定することができる。一実施形態による映像復号装置150は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0113】
一実施形態により、映像復号装置150は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【0114】
図8を参照すれば、映像復号装置150は、正方形の第1符号化単位800、非正方形の第1符号化単位830または850を、多様な形態の符号化単位に分割することができる。
【0115】
図9は、一実施形態による映像復号装置150が、第1符号化単位900が分割されて決定された非正方形の第2符号化単位が、所定条件を満足する場合、第2符号化単位が分割される形態が制限されるということを図示する。
【0116】
一実施形態による映像復号装置150は、受信部160を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形の第1符号化単位900を、非正方形の第2符号化単位910a,910b,920a,920bに分割すると決定することができる。第2符号化単位910a,910b,920a,920bは、独立しても分割される。それにより、映像復号装置150は、第2符号化単位910a,910b,920a,920bそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態による映像復号装置150は、垂直方向に、第1符号化単位900が分割されて決定された非正方形の左側第2符号化単位910aを、水平方向に分割し、第3符号化単位912a,912bを決定することができる。ただし、映像復号装置150は、左側第2符号化単位910aを、水平方向に分割した場合、右側第2符号化単位910bは、左側第2符号化単位910aが分割された方向と同一に、水平方向に分割されないように制限することができる。もし右側第2符号化単位910bが同一方向に分割され、第3符号化単位914a,914bが決定された場合、左側第2符号化単位910a及び右側第2符号化単位910bが、水平方向にそれぞれ独立して分割されることにより、第3符号化単位912a,912b,914a,914bが決定される。しかし、それは、映像復号装置150がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位900を4個の正方形の第2符号化単位930a,930b,930c、930dに分割したところと同一結果であり、それは、映像復号側面で非効率的でもある。
【0117】
一実施形態による映像復号装置150は、水平方向に第1符号化単位330が分割されて決定された非正方形の第2符号化単位920aまたは920bを、垂直方向に分割し、第3符号化単位922a,922b,924a,924bを決定することができる。ただし、映像復号装置150は、第2符号化単位のうち一つ(例えば、上端第2符号化単位920a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例えば、下端符号化単位920b)は、上端第2符号化単位920aが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
【0118】
図10は、一実施形態により、分割形態情報が4個の正方形の符号化単位に分割するということを示すことができない場合、映像復号装置150が、正方形の符号化単位を分割する過程を図示する。
【0119】
一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位1000を分割し、第2符号化単位1010a,1010b,1020a,1020bなどを決定することができる。分割形態情報には、符号化単位が分割される多様な形態に係わる情報が含まれるが、多様な形態に係わる情報には、正方形の4個の符号化単位に分割するための情報が含まれない場合がある。かような分割形態情報によれば、映像復号装置150は、正方形の第1符号化単位1000を、4個の正方形の第2符号化単位1030a,1030b,1030c、1030dに分割することができない。該分割形態情報に基づいて、映像復号装置150は、非正方形の第2符号化単位1010a,1010b,1020a,1020bなどを決定することができる。
【0120】
一実施形態による映像復号装置150は、非正方形の第2符号化単位1010a,1010b,1020a,1020bなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第2符号化単位1010a,1010b,1020a,1020bなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第1符号化単位1000が分割される方法に対応する分割方法でもある。
【0121】
例えば、映像復号装置150は、左側第2符号化単位1010aが水平方向に分割され、正方形の第3符号化単位1012a,1012bを決定することができ、右側第2符号化単位1010bが水平方向に分割され、正方形の第3符号化単位1014a,1014bを決定することができる。さらには、映像復号装置150は、左側第2符号化単位1010a及び右側第2符号化単位1010bがいずれも水平方向に分割され、正方形の第3符号化単位1016a,1016b,1016c,1016dを決定することもできる。かような場合、第1符号化単位1000が、4個の正方形の第2符号化単位1030a,1030b,1030c,1030dに分割されたところと同一形態に符号化単位が決定される。
【0122】
他の例を挙げれば、映像復号装置150は、上端第2符号化単位1020aが垂直方向に分割され、正方形の第3符号化単位1022a,1022bを決定することができ、下端第2符号化単位1020bが垂直方向に分割され、正方形の第3符号化単位1024a,1024bを決定することができる。さらには、映像復号装置150は、上端第2符号化単位1020a及び下端第2符号化単位1020bがいずれも垂直方向に分割され、正方形の第3符号化単位1022a,1022b,1024a,1024bを決定することもできる。かような場合、第1符号化単位1000が4個の正方形の第2符号化単位1030a,1030b,1030c,1030dに分割されたところと同一形態で符号化単位が決定される。
【0123】
図11は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
【0124】
一実施形態による映像復号装置150は、ブロック形態情報及び分割形態情報に基づいて、第1符号化単位1100を分割することができる。ブロック形態情報が正方形を示し、分割形態情報が、第1符号化単位1100が、水平方向及び垂直方向のうち少なくとも1つの方向に分割されることを示す場合、映像復号装置150は、第1符号化単位1100を分割し、例えば、第2符号化単位1110a,1110b,1120a,1120b,1130a,1130b,1130c,1130dなどを決定することができる。
図11を参照すれば、第1符号化単位1100が、水平方向または垂直方向だけに分割されて決定された非正方形の第2符号化単位1110a,1110b,1120a,1120bは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立しても分割される。例えば、映像復号装置150は、第1符号化単位1100が垂直方向に分割されて生成された第2符号化単位1110a,1110bを、水平方向にそれぞれ分割し、第3符号化単位1116a,1116b,1116c,1116dを決定することができ、第1符号化単位1100が、水平方向に分割されて生成された第2符号化単位1120a,1120bを、水平方向にそれぞれ分割し、第3符号化単位1126a,1126b,1126c,1126dを決定することができる。かような第2符号化単位1110a,1110b,1120a,1120bの分割過程は、
図9に係わって説明したので、詳細な説明は、省略する。
【0125】
一実施形態による映像復号装置150は、所定順序によって、符号化単位を処理することができる。所定順序による符号化単位の処理についての特徴は、
図6に係わって説明したので、詳細な説明は、省略する。
図11を参照すれば、映像復号装置150は、正方形の第1符号化単位1100を分割し、4個の正方形の第3符号化単位1116a,1116b,1116c,1116d,1126a,1126b,1126c,1126dを決定することができる。一実施形態による映像復号装置150は、第1符号化単位1100が分割される形態により、第3符号化単位1116a,1116b,1116c,1116d,1126a,1126b,1126c,1126dの処理順序を決定することができる。
【0126】
一実施形態による映像復号装置150は、垂直方向に分割されて生成された第2符号化単位1110a,1110bを水平方向にそれぞれ分割し、第3符号化単位1116a,1116b,1116c,1116dを決定することができ、映像復号装置150は、左側第2符号化単位1110aに含まれる第3符号化単位1116a,1116bを、垂直方向にまず処理した後、右側第2符号化単位1110bに含まれる第3符号化単位1116c,1116dを垂直方向に処理する順序1117により、第3符号化単位1116a,1116b,1116c,1116dを処理することができる。
【0127】
一実施形態による映像復号装置150は、水平方向に分割されて生成された第2符号化単位1120a,1120bを垂直方向にそれぞれ分割し、第3符号化単位1126a,1126b,1126c,1126dを決定することができ、映像復号装置150は、上端第2符号化単位1120aに含まれる第3符号化単位1126a,1126bを水平方向にまず処理した後、下端第2符号化単位1120bに含まれる第3符号化単位1126c,1126dを水平方向に処理する順序1127により、第3符号化単位1126a,1126b,1126c,1126dを処理することができる。
【0128】
図11を参照すれば、第2符号化単位1110a,1110b,1120a,1120bがそれぞれ分割され、正方形の第3符号化単位1116a,1116b,1116c,1116d,1126a,1126b,1126c,1126dが決定される。垂直方向に分割されて決定された第2符号化単位1110a,1110b、及び水平方向に分割されて決定された第2符号化単位1120a,1120bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1116a,1116b,1116c,1116d,1126a,1126b,1126c,1126dによれば、結局、同一形態の符号化単位に、第1符号化単位1100が分割された結果になる。それにより、映像復号装置150は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
【0129】
図12は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【0130】
一実施形態による映像復号装置150は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置150は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より2n(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりn位深度が増大されたと決定することができる。以下では、深度が増大された符号化単位を、下位深度の符号化単位と表現する。
【0131】
図12を参照すれば、一実施形態により、正方形であることを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示すことができる)に基づいて、映像復号装置150は、正方形である第1符号化単位1200を分割し、下位深度の第2符号化単位1202、第3符号化単位1204などを決定することができる。正方形の第1符号化単位1200の大きさを、2Nx2Nとするならば、第1符号化単位1200の幅及び高さを1/2
1倍に分割して決定された第2符号化単位1202は、NxNの大きさを有することができる。さらには、第2符号化単位1202の幅及び高さを、1/2サイズに分割して決定された第3符号化単位1204は、N/2xN/2サイズを有することができる。その場合、第3符号化単位1204の幅及び高さは、第1符号化単位1200の1/2
2倍に該当する。第1符号化単位1200の深度がDである場合、第1符号化単位1200の幅及び高さの1/2
1倍である第2符号化単位1202の深度は、D+1でもあり、第1符号化単位1200の幅及び高さの1/2
2倍である第3符号化単位1204の深度は、D+2でもある。
【0132】
一実施形態により、非正方形を示すブロック形態情報(例えば、ブロック形態情報は、高さが幅より長い非正方形であることを示す「1:NS_VER」または幅が高さより長い非正方形であることを示す「2:NS_HOR」を示すことができる)に基づいて、映像復号装置150は、非正方形である第1符号化単位1210または1220を分割し、下位深度の第2符号化単位1212または1222、第3符号化単位1214または1224などを決定することができる。
【0133】
映像復号装置150は、Nx2Nサイズの第1符号化単位1210の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1202,1212,1222などを決定することができる。すなわち、映像復号装置150は、第1符号化単位1210を水平方向に分割し、NxNサイズの第2符号化単位1202またはNxN/2サイズの第2符号化単位1222を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1212を決定することもできる。
【0134】
一実施形態による映像復号装置150は、2NxNサイズの第1符号化単位1220の幅及び高さのうち少なくとも一つを分割し、例えば、第2符号化単位1202,1212,1222などを決定することもできる。すなわち、映像復号装置150は、第1符号化単位1220を垂直方向に分割し、NxNサイズの第2符号化単位1202、またはN/2xNサイズの第2符号化単位1212を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1222を決定することもできる。
【0135】
一実施形態による映像復号装置150は、NxNサイズの第2符号化単位1202の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1204,1214,1224などを決定することもできる。すなわち、映像復号装置150は、第2符号化単位1202を、垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1204を決定するか、あるいはN/2xN/2サイズの第3符号化単位1214を決定するか、あるいはN/2xN/2サイズの第3符号化単位1224を決定することができる。
【0136】
一実施形態による映像復号装置150は、N/2xNサイズの第2符号化単位1212の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1204,1214,1224などを決定することもできる。すなわち、映像復号装置150は、第2符号化単位1212を水平方向に分割し、N/2xN/2サイズの第3符号化単位1204、またはN/2xN/2サイズの第3符号化単位1224を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1214を決定することができる。
【0137】
一実施形態による映像復号装置150は、NxN/2サイズの第2符号化単位1214の幅及び高さのうち少なくとも一つを分割し、例えば、第3符号化単位1204,1214,1224などを決定することもできる。すなわち、映像復号装置150は、第2符号化単位1212を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1204、またはN/2xN/2サイズの第3符号化単位1214を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1224を決定することができる。
【0138】
一実施形態による映像復号装置150は、例えば、正方形の符号化単位1200,1202,1204を、水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1200を垂直方向に分割し、Nx2Nサイズの第1符号化単位1210を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1220を決定することができる。一実施形態により、深度が、符号化単位の最長辺長に基づいて決定される場合、2Nx2Nサイズの第1符号化単位1200,1202または1204が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1200,1202または1204の深度と同一でもある。
【0139】
一実施形態により、第3符号化単位1214または1224の幅及び高さは、第1符号化単位1210または1220の1/2倍に該当する。第1符号化単位1210または1220の深度がDである場合、第1符号化単位1210または1220の幅及び高さの1/2倍である第2符号化単位1212または1214の深度は、D+1でもあり、第1符号化単位1210または1220の幅及び高さの1/2倍である第3符号化単位1214または1224の深度は、D+2でもある。
【0140】
図13は、一実施形態により、符号化単位の形態及び大きさによって決定される深度及び符号化単位区分のためのインデックス(PID:part index)を図示する。
【0141】
一実施形態による映像復号装置150は、正方形の第1符号化単位1300を分割し、多様な形態の第2符号化単位を決定することができる。
図13を参照すれば、映像復号装置150は、分割形態情報により、第1符号化単位1300を、垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1302a,1302b,1304a,1304b,1306a,1306b,1306c,1306dを決定することができる。すなわち、映像復号装置150は、第1符号化単位1300に係わる分割形態情報に基づいて、第2符号化単位1302a,1302b,1304a,1304b,1306a,1306b,1306c,1306dを決定することができる。
【0142】
一実施形態により、正方形の第1符号化単位1300に係わる分割形態情報によって決定される第2符号化単位1302a,1302b,1304a,1304b,1306a,1306b,1306c,1306dは、長辺長に基づいても深度が決定される。例えば、正方形の第1符号化単位1300の一辺長と、非正方形の第2符号化単位1302a,1302b,1304a,1304bの長辺長と、が同一であるので、第1符号化単位1300と、非正方形の第2符号化単位1302a,1302b,1304a,1304bとの深度は、Dとして同一であると見ることができる。それに対し、映像復号装置150が、分割形態情報に基づいて、第1符号化単位1300を4個の正方形の第2符号化単位1306a,1306b,1306c,1306dに分割した場合、正方形の第2符号化単位1306a,1306b,1306c,1306dの一辺長は、第1符号化単位1300の一辺長の1/2倍であるので、第2符号化単位1306a,1306b,1306c,1306dの深度は、第1符号化単位1300の深度であるDより1深度下位であるD+1の深度でもある。
【0143】
一実施形態による映像復号装置150は、高さが幅より長い形態の第1符号化単位1310を分割形態情報によって水平方向に分割し、複数個の第2符号化単位1312a,1312b,1314a,1314b,1314cに分割することができる。一実施形態による映像復号装置150は、幅が高さより大きい形態の第1符号化単位1320を分割形態情報によって垂直方向に分割し、複数個の第2符号化単位1322a,1322b,1324a,1324b,1324cに分割することができる。
【0144】
一実施形態により、非正方形の第1符号化単位1310または1320に係わる分割形態情報によって決定される第2符号化単位1312a,1312b,1314a,1314b,1316a,1316b,1316c,1316dは、長辺長に基づいても深度が決定される。例えば、正方形の第2符号化単位1312a,1312bの一辺長は、高さが幅より長い非正方形の第1符号化単位1310の一辺長の1/2倍であるので、正方形の第2符号化単位1302a,1302b,1304a,1304bの深度は、非正方形の第1符号化単位1310の深度Dより1深度下位の深度であるD+1である。
【0145】
さらには、映像復号装置150が分割形態情報に基づいて、非正方形の第1符号化単位1310を、奇数個の第2符号化単位1314a,1314b,1314cに分割することができる。奇数個の第2符号化単位1314a,1314b,1314cは、非正方形の第2符号化単位1314a,1314c、及び正方形の第2符号化単位1314bを含んでもよい。その場合、非正方形の第2符号化単位1314a,1314cの長辺長、及び正方形の第2符号化単位1314bの一辺長は、第1符号化単位1310の一辺長の1/2倍であるので、第2符号化単位1314a,1314b,1314cの深度は、第1符号化単位1310の深度であるDより1深度下位であるD+1の深度でもある。映像復号装置150は、第1符号化単位1310に係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより長い非正方形の第1符号化単位1320に係わる符号化単位の深度を決定することができる。
【0146】
一実施形態による映像復号装置150は、分割された符号化単位区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。
図13を参照すれば、奇数個に分割された符号化単位1314a,1314b,1314cのうち、真ん中に位置する符号化単位1314bは、他の符号化単位1314a,1314cと、幅は同一であるが、高さが異なる符号化単位1314a,1314cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1314bは、他の符号化単位1314a,1314cの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位1314bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1314cは、インデックスが2増加した3でもある。すなわち、インデックス値の不連続性が存在する。一実施形態による映像復号装置150は、かような分割された符号化単位間区分のためのインデックスの不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということ決定することができる。
【0147】
一実施形態による映像復号装置150は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。
図13を参照すれば、映像復号装置150は、高さが幅より長い長方形形態の第1符号化単位1310を分割し、偶数個の符号化単位1312a,1312bを決定するか、あるいは奇数個の符号化単位1314a,1314b,1314cを決定することができる。映像復号装置150は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、PIDは、それぞれの符号化単位の所定位置サンプル(例えば、左側上端サンプル)から獲得される。
【0148】
一実施形態による映像復号装置150は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より長い長方形形態の第1符号化単位1310に係わる分割形態情報が、3個の符号化単位に分割されることを示す場合、映像復号装置150は、第1符号化単位1310を3個の符号化単位1314a,1314b,1314cに分割することができる。映像復号装置150は、3個の符号化単位1314a,1314b,1314cそれぞれに係わるインデックスを割り当てることができる。映像復号装置150は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置150は、符号化単位のインデックスに基づいて、インデックスのうち、真ん中値に該当するインデックスを有する符号化単位1314bを、第1符号化単位1310が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態による映像復号装置150は、分割された符号化単位区分のためのインデックス決定において、符号化単位が、互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。
図13を参照すれば、第1符号化単位1310が分割されて生成された符号化単位1314bは、他の符号化単位1314a,1314cと、幅は同一であるが、高さが異なる符号化単位1314a,1314cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1314bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1314cは、インデックスが2増加した3でもある。かような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置150は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置150は、奇数個の符号化単位のうち所定位置の符号化単位(例えば、真ん中符号化単位)が異なる符号化単位と、大きさが異なる形態に現在符号化単位と、を分割することができる。その場合、映像復号装置150は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中の符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態についての説明に特定したものであり、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
【0149】
一実施形態による映像復号装置150は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
【0150】
図14は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたことを図示する。
【0151】
一実施形態により、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位に該当する。以下では、説明上、便宜のために、かような所定データ単位を基準データ単位と称する。
【0152】
一実施形態により、基準データ単位は、所定サイズ及び所定形態を示すことができる。一実施形態により、基準符号化単位は、MxNのサンプルを含んでもよい。ここで、M及びNは、互いに同一であってもよく、2の乗数で表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位にも分割される。
【0153】
一実施形態による映像復号装置150は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態による映像復号装置150は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。かような基準データ単位の分割過程は、四分木(quad-tree)構造を利用した分割過程に対応する。
【0154】
一実施形態による映像復号装置150は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、映像復号装置150は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用し、少なくとも1つの符号化単位を決定することができる。
【0155】
図14を参照すれば、映像復号装置150は、正方形の基準符号化単位1400を利用することができ、または非正方形の基準符号化単位1402を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例えば、シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、最大符号化単位など)によって決定される。
【0156】
一実施形態による映像復号装置150の受信部160は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形の基準符号化単位1400に含まれる少なくとも1つの符号化単位の決定される過程は、
図10の現在符号化単位300が分割される過程を介して説明し、非正方形の基準符号化単位1400に含まれる少なくとも1つの符号化単位の決定される過程は、
図11の現在符号化単位1100または1150が分割される過程を介して説明したので、詳細な説明は、省略する。
【0157】
一実施形態による映像復号装置150は、所定条件に基づいて、あらかじめ決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部160は、ビットストリームから、前記多様なデータ単位(例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など)のうち所定条件(例えば、スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置150は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、該ビットストリームの利用効率が良好ではないこともあるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、既定でもある。すなわち、映像復号装置150は、既定基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【0158】
一実施形態による映像復号装置150は、1つの最大符号化単位に含む少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定される。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を四分木構造によって、n回分割した大きさでもある。すなわち、映像復号装置150は、最大符号化単位を、四分木構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位をブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。
【0159】
図15は、一実施形態による、ピクチャ1500に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【0160】
一実施形態による映像復号装置150は、ピクチャを分割する少なくとも1つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも1つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも1つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも1つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタスキャン(raster scan)、Zスキャン(Z-scan)、Nスキャン(N-scan)、右上向対角スキャン(up-right diagonal scan)、水平的スキャン(horizontal scan)、垂直的スキャン(vertical scan)のような多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。
【0161】
一実施形態による映像復号装置150は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。映像復号装置150は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも1つのプロセッシングブロックの大きさを決定することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【0162】
一実施形態による映像復号装置150の受信部160は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームからも獲得される。すなわち、受信部160は、前記多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、映像復号装置150は、獲得されたプロセッシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも1つのプロセッシングブロックの大きさを決定し、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【0163】
一実施形態による映像復号装置150は、ピクチャ1500に含まれるプロセッシングブロック1502,1512の大きさを決定することができる。例えば、映像復号装置150は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。
図15を参照すれば、映像復号装置150は、一実施形態により、プロセッシングブロック1502,1512の横サイズを、基準符号化単位横サイズの4倍、縦サイズを、基準符号化単位の縦サイズの4倍と決定することができる。映像復号装置150は、少なくとも1つのプロセッシングブロック内において、少なくとも1つの基準符号化単位が決定される順序を決定することができる。
【0164】
一実施形態により、映像復号装置150は、プロセッシングブロックの大きさに基づいて、ピクチャ1500に含まれるそれぞれのプロセッシングブロック1502,1512を決定し、プロセッシングブロック1502,1512に含まれる少なくとも1つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
【0165】
一実施形態による映像復号装置150は、ビットストリームから、少なくとも1つのプロセッシングブロックに含まれる少なくとも1つの基準符号化単位の決定順序に係わる情報を獲得し、獲得した決定順序に係わる情報に基づいて、少なくとも1つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向と定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定される。
【0166】
一実施形態による映像復号装置150は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部160は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、該決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとに獲得される。
【0167】
映像復号装置150は、一実施形態によって決定された順序に基づいて、少なくとも1つの基準符号化単位を決定することができる。
【0168】
一実施形態により、受信部160は、ビットストリームから、プロセッシングブロック1502,1512に係わる情報として、基準符号化単位決定順序に係わる情報を獲得し、映像復号装置150は、前記プロセッシングブロック1502,1512に含まれた少なくとも1つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ1500に含まれる少なくとも1つの基準符号化単位を決定することができる。
図15を参照すれば、映像復号装置150は、それぞれのプロセッシングブロック1502,1512に係わる少なくとも1つの基準符号化単位の決定順序1504,1514を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック1502,1512に係わる基準符号化単位決定順序は、プロセッシングブロックごとにも異なる。プロセッシングブロック1502に係わる基準符号化単位決定順序1504がラスタスキャン(raster scan)順序である場合、プロセッシングブロック1502に含まれる基準符号化単位は、ラスタスキャン順序によって決定される。それに対し、他のプロセッシングブロック1512に係わる基準符号化単位決定順序1514は、変形されたラスタスキャン順序である場合、プロセッシングブロック1512に含まれる基準符号化単位は、変形されたラスタスキャン順序によって決定される。
図1ないし
図15では、映像を最大符号化単位に分割し、最大符号化単位を、階層的ツリー構造の符号化単位に分割する方法について説明した。
図16ないし
図25においては、ブロックに対して、いかなる符号化順序によって、符号化または復号することということについて説明する。
【0169】
図16は、ブロックの符号化順序決定に係わる一実施形態によるビデオ復号装置1600が図示されている。
【0170】
ビデオ復号装置1600は、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630を含む。
図16において、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630は、別途の構成単位で表現されているが、一実施形態により、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630は、合わされ、同一構成単位にも具現される。
【0171】
図16において、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630は、1つの装置に位置した構成単位で表現されているが、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、一実施形態により、符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630が分散してもいる。
【0172】
符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630は、一実施形態により、1つのプロセッサによっても具現される。また、一実施形態により、複数個のプロセッサによっても具現される。
【0173】
図16の符号化順序情報獲得部1610、符号化順序決定部1620及び復号部1630で遂行される機能は、
図2の復号部180でも遂行される。
【0174】
符号化順序情報獲得部1610は、互いに隣接したブロックの符号化順序に係わる符号化順序情報を獲得する。
【0175】
該符号化順序情報は、ブロックの符号化順序に係わる情報を示す。該符号化順序情報は、2個以上のブロックを、基本符号化順序によって符号化するか否かということを含んでもよい。もし該符号化順序情報により、ブロックの符号化順序が、基本符号化順序に従わない場合、ブロックの符号化順序は、該符号化順序情報によって変更される。反対に、該符号化順序情報により、ブロックの符号化順序が基本符号化順序に従う場合、ブロックの符号化順序は、該基本符号化順序によって変更される。
【0176】
該基本符号化順序は、符号化順序情報がないとき、全てのブロックに適用される符号化順序を意味する。該基本符号化順序は、
図15で説明された符号化順序または変形された符号化順序でもある。
【0177】
符号化順序情報は、2個のブロック間の符号化順序を示す1ビットサイズの符号化順序フラグを含んでもよい。例えば、該符号化順序フラグが0を示すとき、2個のブロックは、基本符号化順序によって符号化順序が決定される。反対に、該符号化順序フラグが1を示すとき、2個のブロックは、基本符号化順序の反対に符号化順序が決定される。
【0178】
1つの符号化順序フラグにより、3個以上のブロックのうち2個のブロックの符号化順序が、基本符号化順序によるか否かということが決定される。従って、複数の符号化順序フラグにより、3個以上のブロックの符号化順序が決定される。
【0179】
ただし、符号化順序情報のビット量を減らすために、該符号化順序情報は、3個以上の空間的に連続されたブロック間の符号化順序について、1ビットの符号化順序フラグを含んでもよい。例えば、該符号化順序情報が0を示すとき、3個以上のブロックの符号化順序は、基本符号化順序によって決定される。反対に、該符号化順序情報が1を示すとき、3個以上のブロックの符号化順序は、基本符号化順序の逆順によって決定される。
【0180】
符号化順序情報獲得部1610は、ビットストリームから、符号化順序情報を獲得することができる。もしビットストリームに符号化順序情報がない場合、ブロックの符号化順序は、基本符号化順序によって決定される。符号化順序決定部1620が、現在ブロックの周辺環境によって、内在的に符号化順序を決定する場合、符号化順序情報獲得部1610は、ビットストリームから、符号化順序情報を獲得しない。
【0181】
符号化順序情報獲得部1610は、現在ブロックの上位データ単位に対して、符号化順序変更許容情報を確認することができる。該符号化順序変更許容情報は、現在ブロックの上位データ単位に含まれたブロックに対して、符号化順序変更が許容されたか否かということを示す。もし該符号化順序変更許容情報が、符号化順序変更を許容しなければ、上位データ単位の全てのブロックは、基本符号化順序によって復号される。もし該符号化順序変更許容情報が、現在ブロックに係わる符号化順序情報が符号化されたと示す場合、符号化順序情報獲得部1610は、符号化順序情報を獲得することができる。
【0182】
また、該符号化順序変更許容情報は、獲得される符号化順序フラグが示す値の意味を決定することができる。該符号化順序変更許容情報により、符号化順序フラグは、2個のブロックに適用されるか、3個以上のブロックに適用されるか、あるいは他の既定方式により、複数のブロックに適用されるようにも決定される。
【0183】
該符号化順序変更許容情報は、ビデオパラメータセット(video parameter set)、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、スライスセグメントヘッダ(slice segment header)、最大符号化単位ヘッダなどに含まれている。そして、該符号化順序情報の種類が2個以上である場合、各符号化順序情報に係わる符号化順序変更許容情報は、互いに異なるヘッダに分割されて保存される。
【0184】
符号化順序決定部1620は、符号化順序情報により、ブロックの符号化順序を決定する。
【0185】
符号化順序フラグが2個のブロックに適用されるとき、符号化順序決定部1620は、2個のブロックの符号化順序を決定することができる。例えば、第1ブロックと基本符号化順序とにより、第1ブロックの次の符号化順序を有する第2ブロックに対して、符号化順序フラグが0を示すとき、第1ブロックと第2ブロックとの符号化順序は、基本符号化順に決定される。しかし、符号化順序フラグが1を示すとき、第1ブロックと第2ブロックとの符号化順序が交替され、第2ブロックが第1ブロックより先立つ符号化順序を有するように決定される。
【0186】
該符号化順序フラグが3個以上のブロックに適用されるとき、符号化順序決定部1620は、3個以上のブロックの符号化順序の方向を決定することができる。例えば、基本符号化順序による3個ブロックの符号化順序が、第1ブロック、第2ブロック及び第3ブロックであるとき、符号化順序フラグが0である場合、3個ブロックの符号化順序は、基本符号化順序方向のように、第1ブロック、第2ブロック及び第3ブロックと決定される。反対に、符号化順序フラグが1である場合、3個ブロックの符号化順序は、基本符号化順序の反対方向に沿って、第3ブロック、第2ブロック及び第1ブロックと決定される。
【0187】
符号化順序決定部1620は、該符号化順序情報を、現在ブロックの周辺環境によって内在的に決定することができる。例えば、復元された周辺ブロックに適用された符号化順序を参照し、現在ブロックの符号化順序が決定される。また、現在ブロック、または復元された周辺ブロックの特性により、符号化順序が決定される。
【0188】
復号部1630は、ブロックを、決定された符号化順に復号する。復号部1630の復号方法に、
図2及び
図15で説明された方法が適用される。
【0189】
図17は、ブロックの符号化順序決定に係わる一実施形態によるビデオ符号化装置1700が図示されている。
【0190】
ビデオ符号化装置1700は、符号化順序決定部1710、符号化部1720及び出力部1730を含む。
図17において、符号化順序決定部1710、符号化部1720及び出力部1730は、別途の構成単位に表現されているが、一実施形態により、符号化順序決定部1710、符号化部1720及び出力部1730は、合わされ、同一構成単位によっても具現される。
【0191】
図17において、符号化順序決定部1710、符号化部1720及び出力部1730は、1つの装置に位置した構成単位に表現されたが、符号化順序決定部1710、符号化部1720及び出力部1730の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、一実施形態により、符号化順序決定部1710、符号化部1720及び出力部1730が分散していてもよい。
【0192】
符号化順序決定部1710、符号化部1720及び出力部1730は、一実施形態により、1つのプロセッサによっても具現される。また、一実施形態により、複数個のプロセッサによっても具現される。
【0193】
図17の符号化順序決定部1710及び符号化部1720で遂行される機能は、
図1の符号化単位決定部120でも遂行される。そして、
図17の出力部1730で遂行される機能は、
図1の出力部130でも遂行される。
【0194】
符号化順序決定部1710は、互いに隣接したブロックの符号化順序変更いかんを決定する。基本符号化順序によるときのブロックの符号化効率と基本符号化順序とから、変更された順序によるときのブロックの符号化効率を比較し、符号化順序変更いかんが決定される。もし該基本符号化順序によるとき、符号化効率がさらに良好である場合、該基本符号化順序に基づいた符号化順序は、変更されない。反対に、該基本符号化順序から変更された順序によるとき、符号化効率がさらに良好である場合、該基本符号化順序に基づいた符号化順序は、変更される。
【0195】
符号化順序決定部1710は、既定の符号化順序の符号化効率を比較することができる。例えば、2個のブロック単位において、符号化順序が基本符号化順序によって決定されるか否かということが決定される。また、他の例として、3個以上のブロック単位において、符号化順序が基本符号化順序によって決定されるか否かということが決定される。
【0196】
符号化順序決定部1710は、符号化順序情報を現在ブロックの周辺環境によって所定規則により、内在的に決定することができる。もし符号化順序が、現在ブロックの周辺環境に基づいて、内在的に決定される場合、符号化順序候補の決定過程は、省略される。また、他の実施形態において、符号化順序決定部1710は、現在ブロックの周辺ブロックと、現在ブロックとのテクスチャを分析し、符号化順序を決定することができる。該テクスチャの類似性により、符号化順序を決定することにより、符号化順序候補の符号化効率がいずれも計算されない。従って、該符号化過程において、演算効率が上昇する。
【0197】
もし現在ブロックに対する符号化順序変更許容情報が、現在ブロックの符号化順序変更を許容すると示す場合、符号化順序決定部1710は、符号化順序変更いかんを決定することができる。反対に、符号化順序変更許容情報により、符号化順序変更が許容されない場合、符号化順序決定部1710は、基本符号化順序により、全てのブロックの符号化順序を決定することができる。
【0198】
符号化部1720は、符号化順序決定部1710で決定された符号化順序により、ブロックを符号化する。
【0199】
出力部1730は、ブロックの符号化順序が、基本符号化順序から変更されるか否かということを示す符号化順序情報を含むビットストリームを出力する。また、出力部1730は、ブロックの符号化方法及び符号化結果に係わる符号化情報を出力することができる。
【0200】
図16及び
図17のブロックは、最大符号化単位または最大符号化単位に含まれた符号化単位を意味する。そして、
図16のブロックは、基本符号化順序により、順序上で隣接することができる。また、
図16のブロックは、水平または垂直に隣接することができる。
【0201】
図18は、ブロックの符号化順序変更の必要性について説明するための図面である。連結線1850と連結線1860は、類似した性質を有したサンプルを連結したものである。従って、ブロック1800の復号過程において、連結線1850と連結線1860とに位置したサンプルに対応する符号化情報を活用すれば、高い符号化効率を得ることができる。
図18の左側実施形態の連結線1850は、ブロック1810の左側境界と上側境界とを通過する。そして、
図18の右側実施形態の連結線1860は、ブロック1810の左側境界と右側境界とを通過する。
【0202】
ブロック1800を復元するとき、ラスタスキャン(raster scan)による場合、ブロック1800の左側、上側、左上側、右上側のブロックだけが復元されている。従って、ブロック1800の左側、上側、左上側、右上側のブロック符号化情報だけがブロック1800の復号に使用される。
【0203】
図18の左側実施形態の場合、連結線1850は、ブロック1800の左上側ブロック1820を通過する。従って、左上側ブロック1820がすでに復元されたが、ブロック1800は、左上側ブロック1820に基づいても復元される。従って、ブロック1810が、ブロック1800に先立って復元されなくてもよい。
【0204】
しかし、
図18の右側実施形態の場合、連結線1860は、ブロック1800の周辺ブロックのうち、すでに復元されたブロックを通過しない。従って、ブロック1810が先に復元されない限り、ブロック1800は、効率的に復元されない。従って、ブロック1800とブロック1810との符号化順序を変える必要がある。
【0205】
連結線1860が、ブロック1810の右上側ブロック1840を通過するので、ブロック1810は、右上側ブロック1840の符号化情報を利用しても効果的に復元される。そして、ブロック1810が復元された後、ブロック1800は、ブロック1810の符号化情報を利用しても復元される。従って、
図18の右側実施形態の場合、ブロック1810を、ブロック1800より先に復元することがさらに効率的である。
【0206】
図19A及び
図19Bには、ブロックの符号化順序の決定方法に係わる実施形態が開示されている。
図19Aには、2個の隣接ブロックの符号化順序変更いかんを示す符号化順序フラグを使用する実施形態が開示されている。
図19Bには、3個以上の隣接ブロックの符号化順序の方向変更いかんを示す符号化順序フラグを使用する実施形態が開示されている。
【0207】
図19Aの符号化順序フラグ1912は、ブロック1902とブロック1904との符号化順序変更いかんを示す。符号化順序フラグ1912が0である場合、ブロック1902がブロック1904より先立つ符号化順序を有する。反対に、符号化順序フラグ1912が1である場合、ブロック1904がブロック1902より先立つ符号化順序を有する。同様に、符号化順序フラグ1914は、ブロック1904とブロック1916との符号化順序を決定し、符号化順序フラグ1916は、ブロック1906とブロック1918との符号化順序を決定する。
【0208】
一実施形態によれば、符号化順序フラグ1912が0である場合、ブロック1902とブロック1904との順序は、変更されず、ブロック1902だけが復元される。そして、符号化順序フラグ1914によって復元されたブロック1902の横に位置したブロック1904と、ブロック1906との符号化順序が決定される。
【0209】
もし符号化順序フラグ1912が1である場合、ブロック1902とブロック1904との順序は、変更され、ブロック1904とブロック1902とが順次に復元される。ブロック1904がすでに復元されたので、符号化順序フラグ1914は、獲得されず、符号化順序フラグ1916が獲得される。そして、符号化順序フラグ1916により、ブロック1904の横に位置したブロック1906と、ブロック1908との順序が決定される。
【0210】
前述の実施形態は、位置とブロックとの種類に係わらず、行(line)の全てのブロックに対して適用される。従って、ブロック1910に対する復元が行われるまで、符号化順序の決定及び復元が行われる。
【0211】
図19Bの符号化順序フラグ1940は、全てのブロックに対して適用される符号化順序方向いかんを示す。もし符号化順序フラグ1940が0である場合、ラスタスキャンにより、左側に位置したブロック1922から符号化される。例えば、ブロック1922が復元された後、ブロック1924が復元され、ブロック1924が復元された後、ブロック1926が復元される。
【0212】
反対に、符号化順序フラグ1940が1である場合、ラスタスキャンの逆順により、右側に位置したブロック1930から符号化される。
【0213】
図20は、ブロックの符号化順序交替いかんを決定するために、符号化効率を比較するための方法を示す。
図20には、ラスタスキャンによって符号化される2個のブロック2000,2020、ブロック2000に含まれ、ブロック2000の右側境界に隣接したサブブロック2010と、ブロック2020に含まれ、ブロック2020の左側境界に隣接したサブブロック2030と、が図示されている。
【0214】
ラスタスキャンによれば、ブロック2000が、ブロック2020よりさらに先に符号化される。従って、ブロック2000に含まれたサブブロック2010が、ブロック2020に含まれたサブブロック2030より早く符号化される。
【0215】
もしサブブロック間の符号化順序変更なしに、ブロック2000とブロック2020との符号化順序だけが交替される場合、サブブロック2030は、左側及び右側のサブブロックの符号化情報なしに符号化されるので、サブブロック2030の符号化効率が低下する。一方、サブブロック2010は、左側及び右側のサブブロックの符号化情報をいずれも利用して符号化されるので、サブブロック2010の符号化効率が上昇する。
【0216】
従って、サブブロック2010の符号化効率上昇分と、サブブロック2030の符号化効率低下分とを加え、ブロック2000とブロック2020との符号化順序交替が効率的であるか否かということを判断することができる。もしサブブロック2010の符号化効率上昇分が、サブブロック2030の符号化効率低下分より大きければ、ブロック2000とブロック2020との符号化順序を交替することがさらに有利である。しかし、反対に、サブブロック2030の符号化効率低下分が、サブブロック2010の符号化効率上昇分より大きければ、符号化順序を交替しない方がさらに有利である。
【0217】
図21は、ブロック2100がイントラモードによって予測される場合、使用される参照サンプルを示す。
【0218】
図21において、第1実施形態2120は、上側行のブロックと、左側ブロックとが復元された場合、イントラ予測に使用される参照ピクセル2102,2106,2108,2110を示す。第1実施形態2120の場合、復元された上側ブロックの参照ピクセル2102,2106と、復元された左側ブロックの参照ピクセル2108とがイントラ予測に使用される。左下側ブロックの参照ピクセル2110は、左下側ブロックが復元された場合にのみ使用される。参照ピクセル2102,2106,2108,2110を使用するために、第1イントラ予測方向群2125に含まれた予測方向が、ブロック2100のイントラ予測にも使用される。
【0219】
第2実施形態2130は、上側行のブロックと、右側ブロックとが復元された場合、イントラ予測に使用される参照ピクセル2102,2104、2112,2114を示す。第2実施形態2130の場合、復元された上側ブロックの参照ピクセル2102,2104と、復元された右側ブロックの参照ピクセル2112とがイントラ予測にも使用される。右下側ブロックの参照ピクセル2114は、右下側ブロックが復元された場合にのみ使用される。参照ピクセル2102,2104、2112,2114を使用するために、第2イントラ予測方向群2135に含まれた予測方向が、ブロック2100のイントラ予測にも使用される。
【0220】
第3実施形態2140は、上側ブロック、右側ブロック及び左側ブロックが復元された場合、イントラ予測に使用される参照ピクセル2102,2108,2112を示す。第3実施形態2140の場合、上側ブロックの参照ピクセル2102、左側ブロックの参照ピクセル2108、及び右側ブロックの参照ピクセル2112がイントラ予測にも使用される。第3イントラ予測方向群2145に含まれた予測方向がブロック2100のイントラ予測にも使用される。
【0221】
第1実施形態2120及び第2実施形態2130によれば、左下側ブロックの参照ピクセル2110と、右下側ブロックの参照ピクセル2114とを使用することができない場合、予測の正確性が低くなる。例えば、右上側方向性モードの場合、第1実施形態2120による予測が不正確でもある。しかし、第3実施形態2140の場合、使用される参照ピクセル2102,2108,2112が、いずれも現在ブロックに隣接するので、予測正確度が異なる実施形態に比べ、相対的に高い。
【0222】
第4実施形態2150は、上側行のブロックだけが復元された場合、イントラ予測に使用される参照ピクセル2102,2104、2106を示す。第4実施形態2150の場合、復元された上側ブロックの参照ピクセル2102,2104、2106だけがイントラ予測にも使用される。第4イントラ予測方向群2155に含まれた予測方向がブロック2100のイントラ予測にも使用される。
【0223】
第4実施形態2150では、第3実施形態と異なり、現在ブロックと隣接する参照ピクセルが、上側ブロックの参照ピクセル2102しかない。また、参照ピクセル2104,2106は、現在ブロックから空間的に離れており、他の実施形態2120,2130,2140に比べ、予測正確度が低い。従って、第4実施形態2150に使用されるイントラ予測方法は、ブロック2100と隣接した上側ブロックの参照ピクセル2102を利用する垂直モードまたは垂直モードと隣接した方向の方向性予測モードであることが望ましい。
【0224】
図22Aないし
図22Eは、ブロックの符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、現在ブロックのイントラ予測方法を示す。
【0225】
図22Aは、プレーナ(planar)モードでのイントラ予測方法を示す。プレーナモードは、現在ブロックに隣接したピクセルのうち現在ピクセルと同一行または同一列にある4個のピクセルを、現在ピクセルの位置に基づいて、二重補間することにより、現在ピクセルを予測するイントラ予測モードをいう。符号化順序変更がない場合、現在ブロックの右側ブロック及び下側ブロックは、復元されていないので、現在ピクセルの予測のための下側ピクセル及び右側ピクセルの代わりに、左下側ピクセル2201と右上側ピクセル2202とが使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右上側ピクセル2202の代わりに、右側ピクセル2203のうち、現在ピクセルと同一行に位置したピクセルが、プレーナモードのための参照ピクセルとしても使用される。
【0226】
図22Bは、DCモードでのイントラ予測方法を示す。DCモードでは、現在ブロックに隣接したピクセルの平均値が、現在ブロックに含まれたピクセルの予測値になる。符号化順序変更がない場合、現在ブロックの右側ブロック及び下側ブロックは、復元されていないので、左側ピクセル2211と上側ピクセル2212とがDCモードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル2213がDCモードにさらに使用される。従って、左側ピクセル2211、上側ピクセル2212及び右側ピクセル2213のピクセル値の平均値が、現在ブロックに含まれたピクセルの予測値としても使用される。
【0227】
図22Cは、水平モードでのイントラ予測方法を示す。水平モードでは、現在ピクセルから水平方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、左側ピクセル2221だけが、水平モードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル2222が、水平モードにさらに使用される。例えば、現在ピクセルの予測値は、左側ピクセル2221及び右側ピクセル2222のうち、現在ピクセルから水平方向に位置したピクセルの平均値としても決定される。または、現在ピクセルの予測値は、左側ピクセル2221及び右側ピクセル2222のうち、現在ピクセルから水平方向に位置したピクセルを、現在ピクセルの位置によって補間することによっても決定される。
【0228】
図22Dは、右上側方向性モードでのイントラ予測方法を示す。右上側方向性モードでは、現在ピクセルから右上側方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、右側ピクセル2233の代わりに、右上側ピクセル2232が、右上側方向性モードによる予測に使用される。しかし、符号化順序が変更されることにより、現在ブロックの右側ブロックが復元された場合、右側ピクセル2233が、右上側方向性モードにも使用される。右側ピクセル2233が、右上側ピクセル2232より現在ブロックからさらに近くにあるので、現在ブロックは、さらに正確に予測される。
【0229】
図22Eは、左下側方向性モードでのイントラ予測方法を示す。左下側方向性モードでは、現在ピクセルから左下側方向に位置したピクセルが、現在ピクセルの予測に使用される。符号化順序変更がない場合、現在ブロックの右側ブロックが復元されていないので、左側ピクセル2241及び左下側ピクセル2242だけが、左下側方向性モードによる予測に使用される。しかし、符号化順序が変更されることによって現在ブロックの右側ブロックが復元された場合、右側ピクセル2243も、下側方向性モードに使用される。例えば、左側ピクセル2241及び左下側ピクセル2242のうち、現在ピクセルから左下側方向に位置したピクセルと、右側ピクセル2243とのうち、左下側方向の反対方向に位置したピクセルの平均値が、現在ピクセルの予測値としても決定される。または、現在ピクセルの予測値は、左側ピクセル2241及び左下側ピクセル2242のうち、現在ピクセルから左下側方向に位置したピクセル及び右側ピクセル2243のうち、左下側方向の反対方向に位置したピクセルを、現在ピクセルの位置によって補間することによっても決定される。
【0230】
図22Aないし22Eで説明されていないイントラモードでも、イントラ予測の正確性で高めるために、現在ブロックの右側ピクセルを使用する方法が適用される。
【0231】
図23は、ブロック2300がインターモードによって予測される場合、使用される参照ブロックを示す。
【0232】
図23のブロック2300の左側ブロックだけが復元された場合、参照ピクセル2302,2304,2306,2308,2310を含むブロックに係わる動きベクトルのうち一部が、第1候補リストの動きベクトル候補に決定される。第1候補リストの動きベクトル候補のうち1つの動きベクトルが選択され、選択された動きベクトルが含まれたブロックから、参照ピクチャインデックスなどのインター予測に必要な符号化情報が獲得される。
【0233】
ブロック2300の右側ブロックだけが復元された場合、参照ピクセル2302,2310,2312,2316,2318を含むブロックのうち一部が、第2候補リストの動きベクトル候補にも決定される。または、参照ピクセル2302,2308,2310,2314,2318を含むブロックに係わる動きベクトルのうち一部が、第2候補リストの動きベクトル候補にも決定される。第2候補リストの動きベクトル候補のうち1つの動きベクトルが選択され、選択された動きベクトルが含まれたブロックから、参照ピクチャインデックスなどのインター予測に必要な符号化情報が獲得される。
【0234】
現在ブロック2300の左側ブロック及び右側ブロックがいずれも復元された場合、第2候補リスト及び第1候補リストのうち効率的な候補リストが選択される。そして、選択された候補リストから、動きベクトルが決定される。他の実施形態によれば、現在ブロック2300の左側ブロック及び右側ブロックがいずれも復元された場合、第1候補リストまたは第2候補リストとは異なる第3候補リストが生成される。例えば、参照ピクセル2302,2304,2310,2312,2316を含むブロックに係わる動きベクトルが、第3候補リストの動きベクトル候補に含まれてもよい。
【0235】
現在ブロック2300の左側ブロック及び右側ブロックがいずれも復元されていない場合、左側ブロック及び右側ブロックから、符号化情報が獲得されない。従って、現在ブロック2300の上側行に位置したブロックに係わる動きベクトルを動きベクトル候補に含む第4候補リストを使用することができる。例えば、参照ピクセル2302,2308,2310,2312を含むブロックに係わる動きベクトルが、第4候補リストの動きベクトル候補に含まれてもよい。
【0236】
Z符号化順序では、第1候補リストによるインター予測が使用される。しかし、2個の左右に隣接したブロックの符号化順序が変更された場合、まず、右側ブロックが、第2候補リストまたは第4候補リストによってインター予測される。そして、右側ブロックが復元された後、左側ブロックが、第2候補リスト及び第3候補リストのうち一つによって予測されることにより、左側ブロックが復元される。
【0237】
図24は、一実施形態によるビデオ復号装置1600で遂行されるビデオ復号方法を示す。
【0238】
段階2410において、互いに隣接したブロックの符号化順序変更いかんを示す符号化順序情報が獲得される。
【0239】
段階2420において、符号化順序情報により、ブロックの符号化順序が決定される。
【0240】
段階2430において、ブロックが決定された符号化順に復号される。
【0241】
一実施形態によれば、符号化順序情報が、互いに隣接した第1ブロック及び第2ブロックの符号化順序を示すことができる。もし該符号化順序情報が、第1ブロック及び第2ブロックの符号化順序変更がないということを示す場合、第1ブロックがまず復号される。そして、第2ブロックと、第2ブロックに隣接した第3ブロックとの符号化順序情報が獲得される。
【0242】
反対に、符号化順序情報が、第1ブロック及び第2ブロックの符号化順序変更があるということを示す場合、第2ブロックがまず復号される。そして、第2ブロックが復号された後、第1ブロックが復号される。第1ブロックが復号された後、第3ブロック及び第4ブロックの符号化順序に係わる符号化順序情報が獲得される。
【0243】
一実施形態によれば、符号化順序情報は、符号化順序の方向を示すことができる。もし該符号化順序情報が、該符号化順序の方向が基本符号化順序と同一方向であるということと示す場合、該符号化順序情報に対応するブロックは、基本符号化順序と同一方向に復号される。反対に、該符号化順序情報が、符号化順序の方向が、基本符号化順序の反対方向であるということを示す場合、該符号化順序情報に対応するブロックは、基本符号化順序の反対方向に復号される。
【0244】
前記符号化順序情報は、1ビットサイズの符号化順序フラグによっても具現される。従って、該符号化順序情報は、符号化順序が基本符号化順序と同一である否かという個を示すことができる。
【0245】
一実施形態によれば、現在ブロックが含まれた上位データ単位に対して、上位データ単位に含まれたブロックに対して符号化順序変更が許容されるか否かということを示す符号化順序変更許容情報を獲得する段階がさらに含まれてもよい。従って、該符号化順序変更許容情報が現在ブロックに対する符号化順序変更が許容されたと示す場合にのみ、現在ブロックに係わる符号化順序情報が獲得されることができる。
【0246】
図25は、一実施形態によるビデオ符号化装置1700で遂行されるビデオ符号化方法を示す。
【0247】
段階2510において、互いに隣接したブロックの符号化順序変更いかんが決定される。
【0248】
段階2520において、符号化順序変更いかんにより、ブロックが符号化される。
【0249】
段階2530において、符号化順序変更いかんを示す符号化順序情報と、ブロックの符号化情報とを含むビットストリームが出力される。
【0250】
図24及び
図25のブロックは、水平方向または垂直方向に隣接することができる。また、
図24及び
図25のブロックは、最大符号化単位または最大符号化単位に含まれたデータ単位でもある。
【0251】
図1ないし
図25を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号技法により、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介しても伝送される。
【0252】
なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。
【0253】
本開示は、特定の最上実施形態に係わって説明したが、それら以外に、本開示に、代替、変形及び修正が適用された発明は、前述の説明に照らし、当業者に明白であろう。すなわち、特許請求の範囲は、かような全ての代替、変形及び修正された発明を含むように解釈される。従って、本明細書及び本図面で説明した全ての内容は、例示的なものであり、非制限的な意味で解釈されるものではない。
【符号の説明】
【0254】
100 映像符号化装置
150 ビデオ復号装置
200、300 現在符号化単位
400 第1符号化単位
500 現在符号化単位
600、700、800 第1符号化単位