特許 6050488 ランダムアクセスのためのマルチレイヤビデオ符号化方法及びその装置、並びにランダムアクセスのためのマルチレイヤビデオ復号化方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6050488

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月21日

(54)【発明の名称】ランダムアクセスのためのマルチレイヤビデオ符号化方法及びその装置、並びにランダムアクセスのためのマルチレイヤビデオ復号化方法及びその装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20161212BHJP

   H04N 19/30 20140101ALI20161212BHJP

【ＦＩ】

   H04N19/70

   H04N19/30

【請求項の数】16

【全頁数】65

(21)【出願番号】特願2015-520071(P2015-520071)

(86)(22)【出願日】2013年7月8日

(65)【公表番号】特表2015-526017(P2015-526017A)

(43)【公表日】2015年9月7日

(86)【国際出願番号】KR2013006032

(87)【国際公開番号】WO2014007590

(87)【国際公開日】20140109

【審査請求日】2015年1月16日

(31)【優先権主張番号】61/668,634

(32)【優先日】2012年7月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】チェー，ビョン−ドゥ

(72)【発明者】

【氏名】キム，ジェ−ヒョン

(72)【発明者】

【氏名】パク，ジョン−フン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２０１０−５０７９６１（ＪＰ，Ａ）

【文献】 特開２００６−２９５９２７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／０４２８９５（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／１１６９５６（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／１０００８９（ＷＯ，Ａ１）

【文献】 Ye-Kui Wang et al.，On CDR picture，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，6th Meeting: Torino, IT，２０１１年 ７月，JCTVC-F464，pp.1-3

【文献】 Youngo Park et al.，Detection of a CDR for random access，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，6th Meeting: Torino，２０１１年 ７月，JCTVC-F604，pp.1-4

【文献】 Ying Chen et al.，Conforming bitstreams startings with CRA pictures，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，7th Meeting: Geneva, CH，２０１１年１１月，JCTVC-G319，pp.1-6

【文献】 Ye-Kui Wang et al.，On bitstreams starting with CRA pictures，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 ２月，JCTVC-H0496r2，pp.1-6

【文献】 Jonatan Samuelsson and Rickard Sjoberg，Temporal layer access pictures，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 ２月，JCTVC-H0566_r1，pp.1-5

【文献】 Gary J. Sullivan，CRA pictures with broken links，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，9th Meeting: Geneva, CH，２０１２年 ４月，JCTVC-I0404_r1，pp.1-3

【文献】 Ye-Kui Wang et al.，AHG9: On RAP pictures，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，10th Meeting: Stockholm, SE，２０１２年 ７月 ３日，JCTVC-J0107，pp.1-7

【文献】 Jonatan Samuelsson and Rickard Sjoberg，Restrictions on leading pictures of CRA and BLA，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，10th Meeting: Stockholm, SE，２０１２年 ７月 ３日，JCTVC-J0251，pp.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

マルチレイヤビデオ復号化方法において、
基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元する段階と、
向上レイヤストリームから、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像（random access point picture）に対応する向上レイヤＲＡＰ映像を復元し、前記復元された向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、動き補償、及び前記基本レイヤ映像を利用するインターレイヤ復号化を行い、前記向上レイヤ映像を復元する段階と、を含み、
前記向上レイヤＲＡＰ映像と前記基本レイヤＲＡＰ映像は同じ種類のＲＡＰ映像であり、前記向上レイヤＲＡＰ映像の種類は前記向上レイヤＲＡＰ映像のＮＡＬユニット(NAL Unit)からＮＡＬユニットタイプ情報を獲得して決定される、
ことを特徴とするマルチレイヤビデオ復号化方法。

【請求項2】

前記基本レイヤ映像を復元する段階は、
第１基本レイヤＩＤＲ（instantaneous decoding refresh）映像に対して、イントラ復号化を行う段階と、
前記第１基本レイヤＩＤＲ映像を参照し、少なくとも１つの基本レイヤ映像に対する動き補償を行う段階と、を含み、
前記向上レイヤ映像を復元する段階は、
前記第１基本レイヤＩＤＲ映像に対応する第１向上レイヤ映像を、第１向上レイヤＩＤＲ映像と決定し、前記第１基本レイヤＩＤＲ映像を参照し、前記第１向上レイヤＩＤＲ映像に対して、インターレイヤ復号化を行う段階と、
前記第１向上レイヤＩＤＲ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項3】

前記基本レイヤ映像を復元する段階は、
第１基本レイヤＣＲＡ（clean random access）映像に対して、イントラ復号化を行う段階と、
前記第１基本レイヤＣＲＡ映像を参照し、少なくとも１つの基本レイヤ映像に対する動き補償を行う段階と、を含み、
前記向上レイヤ映像を復元する段階は、
前記第１基本レイヤＣＲＡ映像に対応する第１向上レイヤ映像を、第１向上レイヤＣＲＡ映像と決定し、前記第１基本レイヤＣＲＡ映像を参照し、前記第１向上レイヤＣＲＡ映像に対して、インターレイヤ復号化を行う段階と、
前記第１向上レイヤＣＲＡ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項4】

前記基本レイヤ映像を復元する段階は、
第１基本レイヤＢＬＡ（broken link access）映像に対して、イントラ復号化を行う段階と、
前記第１基本レイヤＢＬＡ映像を参照し、少なくとも１つの基本レイヤ映像に対する動き補償を行う段階と、を含み、
前記向上レイヤ映像を復元する段階は、
前記第１基本レイヤＢＬＡ映像に対応する第１向上レイヤ映像を、第１向上レイヤＢＬＡ映像と決定し、前記第１基本レイヤＢＬＡ映像を参照し、前記第１向上レイヤＢＬＡ映像に対して、インターレイヤ復号化を行う段階と、
前記第１向上レイヤＢＬＡ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項5】

前記基本レイヤ映像を復元する段階は、
前記第１基本レイヤＲＡＰ映像と、前記第１基本レイヤＲＡＰ映像より復元順序が先立つ基本レイヤＲＡＰ映像とを参照し、第１基本レイヤＲＡＳＬ（random access skipped leading）映像に対する動き補償を行う段階を含み、
前記向上レイヤ映像を復元する段階は、
前記第１基本レイヤＲＡＳＬ映像に対応する第１向上レイヤ映像を、第１向上レイヤＲＡＳＬ映像と決定し、前記第１向上レイヤＲＡＳＬ映像に対して、前記第１基本レイヤＲＡＳＬ映像を参照するインターレイヤ復号化、及び前記第１向上レイヤＲＡＰ映像と、前記第１向上レイヤＲＡＰ映像より復元順序が先立つ向上レイヤＲＡＰ映像と、を参照する動き補償を行う段階を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項6】

前記基本レイヤ映像を復元する段階は、
第１基本レイヤノーマル映像に対して、動き補償を行う段階を含み、
前記向上レイヤ映像を復元する段階は、
前記第１基本レイヤノーマル映像に対応する第１向上レイヤ映像を、第１向上レイヤＣＲＡ映像、第１向上レイヤＲＡＳＬ映像及び第１向上レイヤノーマル映像のうち一つに決定し、前記第１向上レイヤノーマル映像に対して、前記第１基本レイヤノーマル映像を参照するインターレイヤ復号化、及び向上レイヤＲＡＰ映像を参照する動き補償を行う段階を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項7】

前記向上レイヤ映像を復元する段階は、
前記基本レイヤ映像を復元する中に視点の変換が発生する場合、現在復元中の第１基本レイヤ映像に対応する向上レイヤ映像のＮＡＬユニットからＶＬＡ（view layer access）映像であることを示すＮＡＬユニットタイプ情報を獲得して第１向上レイヤＶＬＡ映像を決定し、前記第１基本レイヤ映像を参照し、前記第１向上レイヤＶＬＡ映像に対して、インターレイヤ復号化を行う段階と、
前記第１向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像に対して、前記第１向上レイヤＶＬＡ映像に対して、復元順序及び再生順序が後になるか、あるいはそれと同じである向上レイヤ映像のうち少なくとも一つを参照し、動き補償を行う段階と、を含み、
前記現在復元中の第１基本レイヤ映像はＲＡＰ映像及びノンＲＡＰ映像のうち一つであり、
前記第１向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像は、前記第１向上レイヤＶＬＡ映像より復元順序が先立つか、再生順序が先立つ向上レイヤ映像を参照しない、
ことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項8】

前記基本レイヤ映像を復元する段階は、
第１基本レイヤＲＡＰ映像より復元順序が先立つ基本レイヤＲＡＳＬ映像のうち少なくとも一つに対する復号化を省略する段階を含み、
前記向上レイヤ映像を復元する段階は、
前記復号化が省略された基本レイヤ映像に対応する向上レイヤ映像に対する復号化を省略する段階を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項9】

前記向上レイヤ映像を復元する段階は、
基本レイヤストリーム及び向上レイヤストリームに対する時間階層的復号化のために、第１向上レイヤ映像の時間階層識別番号より下位階層の時間階層識別番号が割り当てられた第１基本レイヤ映像を参照し、前記第１向上レイヤ映像に対するインターレイヤ復号化を行う段階を含むことを特徴とする請求項１に記載のマルチレイヤビデオ復号化方法。

【請求項10】

マルチレイヤビデオ符号化方法において、
基本レイヤ映像に対して、インター予測及びイントラ予測を行う段階と、
前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ（random access point）映像に対応する向上レイヤ映像を、前記基本レイヤＲＡＰ映像の種類と同じ種類の向上レイヤＲＡＰ映像と決定し、前記向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ予測を行って前記向上レイヤ映像を符号化する段階と、を含み、
前記向上レイヤ映像のＮＡＬユニットは、前記向上レイヤＲＡＰ映像の種類を示すＮＡＬユニットタイプ情報が収録される、
ことを特徴とするマルチレイヤビデオ符号化方法。

【請求項11】

前記ＲＡＰ映像は、ＩＤＲ（instantaneous decoding refresh）映像、ＣＲＡ（clean random access）映像、ＢＬＡ（broken link access）映像のうち１つであることを特徴とする請求項１０に記載のマルチレイヤビデオ符号化方法。

【請求項12】

マルチレイヤビデオ復号化装置において、
基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元する基本レイヤ復号化部と、
向上レイヤストリームから、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ（random access point）映像に対応する向上レイヤＲＡＰ映像を復元し、前記復元された向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ復号化を行い、前記向上レイヤ映像を復元する向上レイヤ復号化部と、を含み、
前記向上レイヤＲＡＰ映像と前記基本レイヤＲＡＰ映像は同じ種類のＲＡＰ映像であり、前記向上レイヤＲＡＰ映像の種類は前記向上レイヤＲＡＰ映像のＮＡＬユニット(NAL Unit)からＮＡＬユニットタイプ情報を獲得して決定される、
ことを特徴とするマルチレイヤビデオ復号化装置。

【請求項13】

マルチレイヤビデオ符号化装置において、
基本レイヤ映像に対して、インター予測及びイントラ予測を行う基本レイヤ符号化部と、
前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ（random access point）映像に対応する向上レイヤ映像を、前記基本レイヤＲＡＰ映像の種類と同じ種類の向上レイヤＲＡＰ映像と決定し、前記向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ予測を行って前記向上レイヤ映像を符号化する向上レイヤ符号化部と、を含み、
前記向上レイヤ映像のＮＡＬユニットは、前記向上レイヤＲＡＰ映像の種類を示すＮＡＬユニットタイプ情報が収録される、
ことを特徴とするマルチレイヤビデオ符号化装置。

【請求項14】

請求項１に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【請求項15】

請求項１０に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【請求項16】

前記視点の変換が発生して前記第１向上レイヤＶＬＡ映像にランダムアクセスが発生した場合、前記第１向上レイヤＶＬＡ映像より以前に復元された映像を参照して再生順序が先立つＲＡＳＬ映像に対して復元しないことを特徴とする請求項７に記載のマルチレイヤビデオ復号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、インター予測、イントラ予測及びインターレイヤ予測に基づくマルチレイヤ予測構造を利用する、ビデオ符号化及びビデオ復号化に関する。

【背景技術】

【0002】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化／復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。

【0003】

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の先立つ演算のために、映像を、所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。ビデオコーデックは、連続して反復して発生するデータを、小サイズのデータに置き換えることにより、データ量を節減している。

【0004】

マルチレイヤ・ビデオコーデックは、基本レイヤビデオと、一つ以上の向上レイヤビデオとを符号化／復号化する。基本レイヤビデオと向上レイヤビデオとの時間的／空間的重複性（redundancy）と、レイヤ間の重複性とを除去する方式により、基本レイヤビデオと向上レイヤビデオとのデータ量が節減される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の一実施形態によるマルチレイヤビデオ符号化方法及びその装置、並びにマルチレイヤビデオ復号化方法及びその装置は、新たなマルチレイヤビデオ予測構造を提案し、多視点ビデオ復元過程で、ランダムアクセスがレイヤごとに同期化されて行われる方法を提案する。

【課題を解決するための手段】

【0006】

本発明の一実施形態によるマルチレイヤ（multi-layer）ビデオ復号化方法は、基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元する段階と、向上レイヤストリームから、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像（random access point picture）に対応する同種の向上レイヤＲＡＰ映像を復元し、前記復元された向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、動き補償、及び前記基本レイヤ映像を利用するインターレイヤ復号化を行い、向上レイヤ映像を復元する段階と、を含む。

【発明の効果】

【0007】

本発明の一実施形態によるマルチレイヤビデオ予測構造によれば、基本レイヤ映像シーケンス及び向上レイヤ映像シーケンスの間に、互いに同じ再生順序ＰＯＣ（picture order count）が割り当てられた基本レイヤ映像と向上レイヤ映像との間のインターレイヤ符号化またはインターレイヤ復号化が行われることにより、基本レイヤ映像と向上レイヤ映像との間の同期化された出力が保証される。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態によるマルチレイヤビデオ符号化装置のブロック図である。

【図1B】図１Ａのマルチレイヤビデオ符号化装置のマルチレイヤビデオ符号化方法のフローチャートである。

【図2A】本発明の一実施形態によるマルチレイヤビデオ復号化装置のブロック図である。

【図2B】図２Ａのインターレイヤビデオ復号化装置のインターレイヤビデオ復号化方法のフローチャートである。

【図3】一実施形態によるインターレイヤ予測構造を図示する図面である。

【図4A】マルチレイヤ映像のマルチレイヤ予測構造を図示する図面である。

【図4B】時間階層的符号化／復号化方式によるマルチレイヤ予測構造を図示する図面である。

【図5A】一実施形態による、ＩＤＲ（instantaneous decoding refresh）映像の再生順序と復元順序とを図示する図面である。

【図5B】一実施形態による、ＩＤＲ（instantaneous decoding refresh）映像の再生順序と復元順序とを図示する図面である。

【図6A】一実施形態による、ＣＲＡ（clear random access）映像の再生順序と復元順序とを図示する図面である。

【図6B】一実施形態による、ＣＲＡ（clear random access）映像の再生順序と復元順序とを図示する図面である。

【図7A】一実施形態によるＢＬＡ（broken link access）映像の再生順序と復元順序とを図示する図面である。

【図7B】一実施形態によるＢＬＡ（broken link access）映像の再生順序と復元順序とを図示する図面である。

【図8】一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置のブロック図である。

【図9】一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。

【図10】本発明の一実施形態による符号化単位の概念を図示する図面である。

【図11】本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。

【図12】本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。

【図13】本発明の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。

【図14】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。

【図15】本発明の一実施形態による深度別符号化情報を図示する図面である。

【図16】本発明の一実施形態による深度別符号化単位を図示する図面である。

【図17】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図18】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図19】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図20】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。

【図21】一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。

【図22】ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。

【図23】コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。

【図24】一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。

【図25】一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。

【図26】本発明による通信システムが適用されたデジタル放送システムを図示する図面である。

【図27】本発明の一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。

【発明を実施するための形態】

【0009】

本発明の一実施形態によるマルチレイヤ（multi-layer）ビデオ復号化方法は、基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元する段階と、向上レイヤストリームから、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像（random access point picture）に対応する同種の向上レイヤＲＡＰ映像を復元し、前記復元された向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、動き補償、及び前記基本レイヤ映像を利用するインターレイヤ復号化を行い、向上レイヤ映像を復元する段階と、を含む。

【0010】

一実施形態による、前記向上レイヤ映像を復元する段階は、前記第１基本レイヤＩＤＲ（instantaneous decoding refresh）映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＩＤＲ映像と決定し、前記第１基本レイヤＩＤＲ映像を参照し、前記第１向上レイヤＩＤＲ映像に対して、インターレイヤ復号化を行う段階と、前記第１向上レイヤＩＤＲ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含んでもよい。

【0011】

一実施形態による、前記向上レイヤ映像を復元する段階は、前記第１基本レイヤＣＲＡ（clear random access）映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＣＲＡ映像と決定し、前記第１基本レイヤＣＲＡ映像を参照し、前記第１向上レイヤＣＲＡ映像に対して、インターレイヤ復号化を行う段階と、前記第１向上レイヤＣＲＡ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含んでもよい。

【0012】

一実施形態による、前記向上レイヤ映像を復元する段階は、前記第１基本レイヤＢＬＡ（broken link access）映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＢＬＡ映像と決定し、前記第１基本レイヤＢＬＡ映像を参照し、前記第１向上レイヤＢＬＡ映像に対して、インターレイヤ復号化を行う段階と、前記第１向上レイヤＢＬＡ映像を参照し、少なくとも１つの向上レイヤ映像に対する動き補償を行う段階と、を含んでもよい。

【0013】

一実施形態による、前記向上レイヤ映像を復元する段階は、前記第１基本レイヤＲＡＳＬ（random access skipped leading）映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＲＡＳＬ映像と決定し、前記第１向上レイヤＲＡＳＬ映像に対して、前記第１基本レイヤＲＡＳＬ映像を参照するインターレイヤ復号化、及び前記第１向上レイヤＲＡＰ映像と、前記第１向上レイヤＲＡＰ映像より復元順序が先立つ向上レイヤＲＡＰ映像とを参照する動き補償を行う段階を含んでもよい。

【0014】

一実施形態による、前記向上レイヤ映像を復元する段階は、前記第１基本レイヤ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＣＲＡ映像、第１向上レイヤＲＡＳＬ映像及び第１向上レイヤノーマル映像のうち一つに決定し、前記第１向上レイヤノーマル映像に対して、前記第１基本レイヤノーマル映像を参照するインターレイヤ復号化、及び向上レイヤＲＡＰ映像を参照する動き補償を行う段階を含んでもよい。

【0015】

一実施形態による、前記向上レイヤ映像を復元する段階は、視点変換要請に基づいて、ＲＡＰ映像及び非ＲＡＰ映像のうち１つである第１基本レイヤ映像に対応する第１向上レイヤＶＬＡ（view layer access）映像を決定し、前記第１基本レイヤ映像を参照し、前記第１向上レイヤＶＬＡ映像に対して、インターレイヤ復号化を行う段階と、前記第１向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像に対して、前記第１向上レイヤＢＬＡ映像に対して、復元順序及び再生順序が後になるか、あるいはそれと同じである向上レイヤ映像のうち少なくとも一つを参照し、動き補償を行う段階と、を含んでもよい。

【0016】

一実施形態による前記基本レイヤ映像を復元する段階は、前記第１基本レイヤＲＡＰ映像より復元順序が先立つ基本レイヤＲＡＳＬ映像のうち少なくとも一つに対する復号化を省略する段階を含み、前記向上レイヤ映像を復元する段階は、前記復号化が省略された基本レイヤ映像に対応する向上レイヤ映像に対する復号化を省略する段階を含んでもよい。

【0017】

一実施形態による、前記向上レイヤ映像を復元する段階は、基本レイヤストリーム及び向上レイヤストリームに対する時間階層的復号化（temporal hierarchical decoding）のために、第１向上レイヤ映像の時間階層識別番号より下位階層の時間階層識別番号が割り当てられた第１基本レイヤ映像を参照し、前記第１向上レイヤ映像に対するインターレイヤ復号化を行う段階を含んでもよい。

【0018】

本発明の一実施形態によるマルチレイヤビデオ符号化方法は、基本レイヤ映像に対して、インター予測及びイントラ予測を行う段階と、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像に対応する向上レイヤ映像を、前記ＲＡＰ映像と同種の向上レイヤＲＡＰ映像と決定し、前記向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ予測を行う段階と、を含む。

【0019】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、前記第１基本レイヤＩＤＲ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＩＤＲ映像と決定し、前記第１基本レイヤＩＤＲ映像を参照し、前記第１向上レイヤＩＤＲ映像に対して、インターレイヤ予測を行う段階と、前記第１向上レイヤＩＤＲ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行う段階と、を含んでもよい。

【0020】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、前記第１基本レイヤＣＲＡ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＣＲＡ映像と決定し、前記第１基本レイヤＣＲＡ映像を参照し、前記第１向上レイヤＣＲＡ映像に対して、インターレイヤ予測を行う段階と、前記第１向上レイヤＣＲＡ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行う段階と、を含んでもよい。

【0021】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、前記第１基本レイヤＢＬＡ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＢＬＡ映像と決定し、前記第１基本レイヤＢＬＡ映像を参照し、前記第１向上レイヤＢＬＡ映像に対して、インターレイヤ予測を行う段階と、前記第１向上レイヤＢＬＡ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行う段階と、を含んでもよい。

【0022】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、前記第１基本レイヤＲＡＳＬ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＲＡＳＬ映像と決定し、前記第１向上レイヤＲＡＳＬ映像に対して、前記第１基本レイヤＲＡＳＬ映像を参照するインターレイヤ予測、及び前記第１向上レイヤＲＡＰ映像と、前記第１向上レイヤＲＡＰ映像より復元順序が先立つ向上レイヤＲＡＰ映像とを参照するインター予測を行うことができる。

【0023】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、前記第１基本レイヤ映像に対応する第１向上レイヤ映像を、前記第１向上レイヤＣＲＡ映像、第１向上レイヤＲＡＳＬ映像及び第１向上レイヤノーマル映像のうち一つに決定し、前記第１向上レイヤノーマル映像に対して、前記第１基本レイヤノーマル映像を参照するインターレイヤ予測、及び向上レイヤＲＡＰ映像を参照するインター予測を行う段階を含んでもよい。

【0024】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、ＲＡＰ映像及び非ＲＡＰ映像のうち１つである第１基本レイヤ映像に対応する第１向上レイヤＶＬＡ映像を決定し、前記第１基本レイヤ映像を参照し、前記第１向上レイヤＶＬＡ映像に対して、インターレイヤ予測を行う段階と、前記第１向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像に対して、前記第１向上レイヤＢＬＡ映像に対して、復元順序及び再生順序が後になるか、あるいはそれと同じである向上レイヤ映像のうち少なくとも一つを参照し、インター予測を行う段階と、を含んでもよい。

【0025】

一実施形態による前記インター予測及びインターレイヤ予測を行う段階は、基本レイヤストリーム及び向上レイヤストリームに対する時間階層的符号化のために、第１向上レイヤ映像の時間階層識別番号より下位階層の時間階層識別番号が割り当てられた第１基本レイヤ映像を参照し、前記第１向上レイヤ映像に対するインターレイヤ予測を行う段階を含んでもよい。

【0026】

本発明の一実施形態によるマルチレイヤビデオ復号化装置は、基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元する基本レイヤ復号化部；及び向上レイヤストリームから、前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像に対応して同種である向上レイヤＲＡＰ映像を復元し、前記復元された向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ復号化を行い、向上レイヤ映像 を復元する向上レイヤ復号化部；を含む。

【0027】

本発明の一実施形態によるマルチレイヤビデオ符号化装置は、基本レイヤ映像に対して、インター予測及びイントラ予測を行う基本レイヤ符号化部；及び前記基本レイヤ映像のうち、ランダムアクセスが可能な基本レイヤＲＡＰ映像に対応する向上レイヤ映像を、前記基本レイヤＲＡＰ映像と同種の向上レイヤＲＡＰ映像と決定し、前記向上レイヤＲＡＰ映像を含む向上レイヤ映像に対して、インター予測、及び前記基本レイヤ映像を利用するインターレイヤ予測を行う向上レイヤ符号化部を含む。

【0028】

本発明は、一実施形態によるマルチレイヤビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明の一実施形態によるマルチレイヤビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

【0029】

以下、図１Ａないし図７Ｂを参照し、一実施形態による、マルチレイヤビデオ符号化装置及びマルチレイヤビデオ復号化装置、並びにマルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号化方法を開示する。また、図８ないし図２０を参照し、一実施形態によるツリー構造の符号化単位に基づく一実施形態による、マルチレイヤビデオ符号化装置及びマルチレイヤビデオ復号化装置、並びにマルチレイヤビデオ符号化方法及びマルチレイヤビデオ復号化方法を開示する。また、図２１ないし図２７を参照し、一実施形態による、マルチレイヤビデオ符号化方法、マルチレイヤビデオ復号化方法、ビデオ符号化方法、ビデオ復号化方法が適用可能な多様な実施形態を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示す。

【0030】

まず、図１Ａないし図７Ｂを参照し、一実施形態による、マルチレイヤビデオ符号化装置及びマルチレイヤビデオ符号化方法、並びにマルチレイヤビデオ復号化装置及びマルチレイヤビデオ復号化方法を開示する。

【0031】

図１Ａは、本発明の一実施形態によるマルチレイヤビデオ符号化装置１０のブロック図を図示している。図１Ｂは、図１Ａのマルチレイヤビデオ符号化装置１０のマルチレイヤビデオ符号化方法１１のフローチャートを図示している。

【0032】

一実施形態によるマルチレイヤビデオ符号化装置１０は、基本レイヤ符号化部１２及び向上レイヤ符号化部１４を含む。

【0033】

一実施形態によるマルチレイヤビデオ符号化装置１０は、スケーラブル・ビデオコーディング（scalable video coding）方式により、多数のビデオストリームをレイヤ別に分類し、それぞれ符号化することができる。一実施形態によるマルチレイヤビデオ符号化装置１０は、基本レイヤ映像及び向上レイヤ映像を符号化する。

【0034】

例えば、多視点ビデオが、スケーラブル・ビデオコーディング方式によって符号化される。中央視点映像、左視点映像及び右視点映像がそれぞれ符号化され、そのうち中央視点映像は、基本レイヤ映像として符号化され、左視点映像は、第１向上レイヤ映像、右視点映像は、第２向上レイヤ映像として符号化される。基本レイヤ映像の符号化結果が基本レイヤストリームとして出力され、第１向上レイヤ映像及び第２向上レイヤ映像の符号化結果が、それぞれ第１向上レイヤストリーム及び第２向上レイヤストリームとして出力される。

【0035】

他の例として、時間階層的予測により、スケーラブル・ビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む基本レイヤストリームが出力される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む向上レイヤストリームが出力される。時間階層的予測方式によるスケーラブル・ビデオコーディング方式は、図４Ｂを参照して後述する。

【0036】

また、基本レイヤ及び多数の向上レイヤで、スケーラブル・ビデオコーディングが行われる。向上レイヤが３以上である場合、基本レイヤ映像、及び最初の向上レイヤ映像，２番目の向上レイヤ映像，…，Ｋ番目の向上レイヤ映像が符号化されてもよい。それにより、基本レイヤ映像の符号化結果が、基本レイヤストリームとして出力され、最初，２番目，…，Ｋ番目の向上レイヤ映像の符号化結果が、それぞれ最初，２番目，…，Ｋ番目の向上レイヤストリームとして出力される。

【0037】

一実施形態によるマルチレイヤビデオ符号化装置１０は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位のうち、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。

【0038】

一実施形態によるマルチレイヤビデオ符号化装置１０は、同一レイヤの映像を相互参照して予測するインター予測（inter prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion vector）、及び現在映像と参照映像との残差成分（residual）が生成される。

【0039】

また、一実施形態によるマルチレイヤビデオ符号化装置１０は、基本レイヤ映像を参照して向上レイヤ映像を予測するインターレイヤ予測（inter-layer prediction）を行うことができる。一実施形態によるマルチレイヤビデオ符号化装置１０は、最初の向上レイヤ映像を参照し、２番目の向上レイヤ映像を予測するインターレイヤ予測を行うこともできる。インターレイヤ予測を介して、現在映像と、それと異なるレイヤの参照映像との位置差成分、及び現在映像と、それと異なるレイヤの参照映像との残差成分が生成される。

【0040】

一実施形態によるマルチレイヤビデオ符号化装置１０が、２以上の向上レイヤを許容する場合には、マルチレイヤ予測構造によって、１つの基本レイヤ映像と、２以上の向上レイヤ映像とのインターレイヤ予測を行うこともできる。

【0041】

インター予測及びインターレイヤ予測は、符号化単位、予測単位または変換単位のデータ単位を基に行われる。

【0042】

一実施形態による基本レイヤ符号化部１２は、基本レイヤ映像を符号化し、基本レイヤストリームを生成する。基本レイヤ符号化部１２は、基本レイヤ映像間のインター予測を行うことができる。一実施形態による基本レイヤ符号化部１２は、基本レイヤ映像のうち、ランダムアクセスが可能なＲＡＰ（random access point）映像は、他の映像を全く参照せずに符号化することができる。

【0043】

Ｉ−タイプであるＲＡＰ映像は、ＩＤＲ（instanteneous decoding refresh）映像、ＣＲＡ（clean random access）映像、ＢＬＡ（broken link access）映像、ＴＳＡ（temporal sublayer access）映像、ＳＴＳＡ（stepwise temporal sublayer access）映像のうちいずれか一つでもある。

【0044】

また、ＲＡＰ映像は、リーディング映像（leading pictures）とトレーリング映像（trailing pictures）によって参照される。リーディング映像とトレーリング映像は、ＲＡＰ映像より復元順序は後になるが、リーディング映像は、ＲＡＰ映像より再生順序が先立ち、トレーリング映像は、ＲＡＰ映像より復元順序も後になる。トレーリング映像は、ノーマル映像（normal picture）とも呼ばれる。

【0045】

リーディング映像は、ＲＡＤＬ（random access decodable leading）映像、ＲＡＳＬ映像に分類されてもよい。リーディング映像より再生順序がさらに後になるＲＡＰ映像でランダムアクセスが発生するとき、ＲＡＤＬ映像は、復元可能な映像であるが、ＲＡＳＬ映像は、復元されない。

【0046】

一実施形態による基本レイヤ符号化部１２は、基本レイヤ映像のうち、基本レイヤＲＡＰ映像を除いた非ＲＡＰ（non−ＲＡＰ）映像に対して、インター予測を行うことができる。基本レイヤＲＡＰ映像については、映像内周辺ピクセルを参照するイントラ予測（intra prediction）が行われる。一実施形態による基本レイヤ符号化部１２は、インター予測またはイントラ予測を行った結果として生成される結果データに対して、符号化を行い、符号化データを生成することができる。例えば、インター予測またはイントラ予測を行って生成された結果データを収録する映像ブロックに対して、変換、量子化、エントロピー符号化などが行われる。

【0047】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＲＡＰ映像の符号化データと、残りの基本レイヤ映像の符号化データとを含む基本レイヤストリームを生成することができる。基本レイヤ符号化部１２は、基本レイヤ映像間のインター予測を介して生成されたモーションベクトルも、基本レイヤストリームと共に出力することができる。

【0048】

一実施形態による向上レイヤ符号化部１４は、向上レイヤ映像を符号化し、向上レイヤストリームを生成する。一実施形態による向上レイヤ符号化部１４は、多数の向上レイヤ映像を符号化する場合には、各レイヤ別に、向上レイヤ映像を符号化し、各レイヤ別に、向上レイヤストリームを生成する。以下、説明の便宜のために、一実施形態による向上レイヤ符号化部１４の符号化動作は、１レイヤの向上レイヤ映像に対する動作として記述する。ただし、向上レイヤ符号化部１４の動作が、ただ１レイヤの向上レイヤ映像に対してのみ遂行される動作ではなく、他のレイヤの向上レイヤ映像それぞれについても、同一の動作が適用される。

【0049】

一実施形態による向上レイヤ符号化部１４は、向上レイヤ映像を符号化するために、基本レイヤ映像を参照するインターレイヤ予測と、同一レイヤ映像を参照するインター予測と、を行うことができる。

【0050】

インター予測やインターレイヤ予測は、参照される映像が、先に復元されていてこそ可能である。従って、現在レイヤにおいて、第１映像が最初に復号化されるのおいて、同一レイヤの他の映像が参照されなければならないのであるならば、第１映像の復号化が不可能である。従って、ランダムアクセスが可能なＲＡＰ映像は、同一レイヤの他の映像を参照せずに符号化されなければならない。一実施形態によって、ＲＡＰ映像で、ランダムアクセスが発生する場合、同一レイヤで先に復元された映像がないとしても、ＲＡＰ映像は、直ちに復号化されて出力される。

【0051】

一実施形態によるマルチレイヤビデオ符号化装置１０のマルチレイヤ予測構造により、第１レイヤ映像が復号化されている最中、レイヤ変換によって、第２レイヤ映像が復号化されもする。例えば、多視点映像構造で、視点（view）変換が発生したり、あるいは時間階層的予測構造で、時間階層の変換が発生したりする場合、マルチレイヤ予測構造でレイヤ変換が行われる。その場合にも、レイヤ変換地点では、先に復元された同一レイヤ映像が存在しないので、インター予測が不可能である。

【0052】

以下、レイヤ変換地点で、レイヤ変換地点の映像が直ちに復号化されるようにするために、一実施形態によるマルチレイヤビデオ符号化装置１０が、各レイヤごとに、レイヤ変換地点が特定されるマルチレイヤ予測構造によって、スケーラブルビデオ符号化を行う動作について詳細に説明する。

【0053】

一実施形態によるマルチレイヤ予測構造では、基本レイヤ映像のうちＲＡＰ映像が存在すれば、向上レイヤ映像のうち基本レイヤＲＡＰ映像に対応する向上レイヤ映像を、基本レイヤＲＡＰ映像と同種のＲＡＰ映像と決定することができる。例えば、基本レイヤＲＡＰ映像がＩＤＲ映像であるならば、それに対応する向上レイヤ映像も、ＩＤＲ映像と決定することができる。基本レイヤＣＲＡ映像に対応する向上レイヤ映像も、ＣＲＡ映像と決定することができる。基本レイヤＢＬＡ映像に対応する向上レイヤ映像も、ＢＬＡ映像と決定することができる。基本レイヤＴＳＡ映像に対応する向上レイヤ映像も、ＴＳＡ映像と決定することができる。

【0054】

また、基本レイヤＲＡＳＬ映像に対応する向上レイヤ映像も、ＲＡＳＬ映像と決定することができる。

【0055】

一実施形態による基本レイヤ符号化部１２及び向上レイヤ符号化部１４は、ナルユニット（nal unit）に、映像別符号化データを収録することができる。ナルユニットタイプ情報は、現在映像が、トレーリングピクチャ、ＴＳＡ映像、ＳＴＳＡ映像、ＲＡＤＬ映像、ＲＡＳＬ映像、ＢＬＡ映像、ＩＤＲ映像、ＣＲＡ映像、ＶＬＡ映像であるかということを示すことができる。

【0056】

段階１１で、一実施形態による基本レイヤ符号化部１２は、基本レイヤ映像に対して、インター予測及びイントラ予測を行うことができる。基本レイヤ符号化部１２は、基本レイヤＲＡＰ映像については、イントラ予測を行うことができる。基本レイヤ符号化部１２は、基本レイヤＲＡＰ映像を参照し、少なくとも１つの基本レイヤ非ＲＡＰ映像に対するインター予測を行うことができる。第１基本レイヤＲＡＰ映像より復元順序が後になる基本レイヤ映像に対して、第１基本レイヤＲＡＰ映像より復元順序が先立つ向上レイヤ映像を除いた少なくとも１つの向上レイヤ映像を参照し、インター予測が行われる。

【0057】

段階１３で、一実施形態による向上レイヤ符号化部１４は、基本レイヤＲＡＰ映像に対応する地点の向上レイヤＲＡＰ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行うことができる。また、向上レイヤ符号化部１４は、先に復元された基本レイヤ映像を利用して、向上レイヤ映像に対するインターレイヤ予測も行うことができる。

【0058】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＩＤＲ映像については、イントラ予測を行うことができる。基本レイヤ符号化部１２は、基本レイヤＩＤＲ映像を参照し、少なくとも１つの基本レイヤ映像に対するインター予測を行うことができる。基本レイヤＩＤＲ映像より復元順序が後になる基本レイヤ映像に対して、先に復元された基本レイヤＩＤＲ映像を利用するインター予測が可能である。

【0059】

一実施形態による向上レイヤ符号化部１４は、基本レイヤＩＤＲ映像に対応する向上レイヤＩＤＲ映像のために、基本レイヤＩＤＲ映像を参照し、インターレイヤ予測を行うことができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＩＤＲ映像に対応する地点の向上レイヤＩＤＲ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行うことができる。また、向上レイヤＩＤＲ映像より復元順序が後になる向上レイヤ映像に対して、先に復元された向上レイヤＩＤＲ映像を利用するインター予測が行われる。

【0060】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＩＤＲ映像のナルユニットに、ＩＤＲ映像であるということを示すナルユニットタイプ情報を収録することができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＩＤＲ映像に対応する向上レイヤ映像のナルユニットに、ＩＤＲ映像であるということを示すナルユニットタイプ情報を収録することができる。

【0061】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＣＲＡ映像に対して、イントラ予測を行うことができる。基本レイヤ符号化部１２は、基本レイヤＣＲＡ映像より復元順序が後になる少なくとも１つの基本レイヤ映像に対して、基本レイヤＣＲＡ映像を参照するインター予測を行うことができる。基本レイヤＣＲＡ映像より復元順序が後になる映像は、基本レイヤＣＲＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0062】

一実施形態による向上レイヤ符号化部１４は、基本レイヤＣＲＡ映像に対応する向上レイヤＣＲＡ映像に対して、基本レイヤＣＲＡ映像を参照するインターレイヤ予測を行うことができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＣＲＡ映像に対応する地点の向上レイヤＣＲＡ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行うことができる。また、向上レイヤＣＲＡ映像より復元順序が後になる向上レイヤ映像に対して、先に復元された向上レイヤＣＲＡ映像を利用するインター予測が行われる。向上レイヤＣＲＡ映像より復元順序が後になる映像は、向上レイヤＣＲＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0063】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＣＲＡ映像のナルユニットに、ＣＲＡ映像であるということを示すナルユニットタイプ情報を収録することができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＣＲＡ映像に対応する向上レイヤ映像のナルユニットに、ＣＲＡ映像であるということを示すナルユニットタイプ情報を収録することができる。

【0064】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＢＬＡ映像に対して、イントラ予測を行うことができる。基本レイヤ符号化部１２は、基本レイヤＢＬＡ映像より復元順序が後になる少なくとも１つの基本レイヤ映像に対して、基本レイヤＢＬＡ映像を参照するインター予測を行うことができる。基本レイヤＢＬＡ映像より復元順序が後になる映像は、基本レイヤＢＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0065】

一実施形態による向上レイヤ符号化部１４は、基本レイヤＢＬＡ映像に対応する向上レイヤＢＬＡ映像に対して、基本レイヤＢＬＡ映像を参照するインターレイヤ予測を行うことができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＢＬＡ映像に対応する地点の向上レイヤＢＬＡ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行うことができる。また、向上レイヤＢＬＡ映像より復元順序が後になる向上レイヤ映像に対して、先に復元された向上レイヤＢＬＡ映像を利用するインター予測が行われる。向上レイヤＢＬＡ映像より復元順序が後になる映像は、向上レイヤＢＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0066】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＢＬＡ映像のナルユニットに、ＢＬＡ映像であるということを示すナルユニットタイプ情報を収録することができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＣＲＡ映像に対応する向上レイヤ映像のナルユニットに、ＢＬＡ映像であるということを示すナルユニットタイプ情報を収録することができる。

【0067】

ＲＡＰ映像より復元順序は後になるが、再生順序が先立つ映像を、ＬＰ映像（leading picture）とする。ＬＰ映像は、第１ ＲＡＰ映像より復元順序が先立つ第２ ＲＡＰ映像と第１ ＲＡＰとを共に参照するＲＡＳＬ映像と、第１ ＲＡＰ映像だけ参照するＲＡＤＬ映像とのうち一つでもある。第１ ＲＡＰ映像でランダムアクセスが発生する場合、ＲＡＳＬ映像は、復号化されないが、ＲＡＤＬ映像は、復号化される。

【0068】

一実施形態による基本レイヤ符号化部１２は、第１基本レイヤＲＡＰ映像と、第１基本レイヤＲＡＰ映像より復元順序が先立つ第２基本レイヤＲＡＰ映像とを参照し、基本レイヤＲＡＳＬ映像に対するインター予測を行うことができる。

【0069】

一実施形態による向上レイヤ符号化部１４は、基本レイヤＲＡＳＬ映像に対応する第１向上レイヤＲＡＳＬ映像に対して、第１基本レイヤＲＡＳＬ映像を参照するインターレイヤ予測を行うことができる。また、一実施形態による向上レイヤ符号化部１４は、第１向上レイヤＲＡＰ映像と、前記第１向上レイヤＲＡＰ映像より復元順序が先立つ第２向上レイヤＲＡＰ映像とを参照し、一実施形態による向上レイヤＲＡＳＬ映像に対するインター予測を行うことができる。

【0070】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＲＡＳＬ映像のナルユニットに、ＲＡＳＬ映像であるということを示すナルユニットタイプ情報を収録することができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＲＡＳＬ映像に対応する向上レイヤ映像のナルユニットに、ＲＡＳＬ映像であるということを示すナルユニットタイプ情報を収録することができる。

【0071】

一実施形態による基本レイヤ符号化部１２は、第１基本レイヤＲＡＰ映像と、第１基本レイヤＲＡＰ映像より復元順序が先立つ第２基本レイヤＲＡＰ映像とを参照し、基本レイヤＲＡＤＬ映像に対するインター予測を行うことができる。

【0072】

一実施形態による向上レイヤ符号化部１４は、基本レイヤＲＡＤＬ映像に対応する第１向上レイヤＲＡＳＬ映像に対して、第１基本レイヤＲＡＤＬ映像を参照するインターレイヤ予測を行うことができる。また、一実施形態による向上レイヤ符号化部１４は、第１向上レイヤＲＡＰ映像を参照し、一実施形態による向上レイヤＲＡＤＬ映像に対するインター予測を行うことができる。

【0073】

一実施形態による基本レイヤ符号化部１２は、基本レイヤＲＡＤＬ映像のナルユニットに、ＲＡＤＬ映像であるということを示すナルユニットタイプ情報を収録することができる。一実施形態による向上レイヤ符号化部１４は、基本レイヤＲＡＤＬ映像に対応する向上レイヤ映像のナルユニットに、ＲＡＤＬ映像であるということを示すナルユニットタイプ情報を収録することができる。

【0074】

他の実施形態による向上レイヤ符号化部１４は、向上レイヤ映像のうち、第１向上レイヤＶＬＡ（view layer access）映像を決定することができる。向上レイヤＶＬＡ映像に対応する基本レイヤ映像は、ＲＡＰ映像及び非ＲＡＰ映像のうち一つでもある。すなわち、ＶＬＡ映像に対応する他のレイヤ映像は、ＲＡＰ映像ではない。向上レイヤ符号化部１４は、基本レイヤ映像を参照し、向上レイヤＶＬＡ映像に対して、インターレイヤ予測を行うことができる。向上レイヤ符号化部１４は、ＶＬＡ映像のために、同一レイヤの他の映像を参照するインター予測を排除し、インターレイヤ予測のみを行うことができる。

【0075】

他の実施形態によって、向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像のインター予測のために、向上レイヤＶＬＡ映像に対して、復元順序及び再生順序が後になるか、あるいはそれと同じである向上レイヤ映像のうち少なくとも一つが参照される。他の実施形態によって、向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像は、向上レイヤＶＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ向上レイヤ映像を利用することができない。復元順序上、ＶＬＡ映像より先立つ映像は、再生順序上でも、ＶＬＡ映像に先立つことができる。

【0076】

一実施形態による基本レイヤ符号化部１２は、第１基本レイヤノーマル映像に対して、インター予測を行うことができる。ノーマル映像は、ＲＡＰ映像でもなく、ＲＡＳＬ映像でもない映像を示す。一実施形態による向上レイヤ符号化部１２は、第１基本レイヤノーマル映像に対応する第１向上レイヤ映像を、第１向上レイヤＣＲＡ映像、第１向上レイヤＲＡＳＬ映像及び第１向上レイヤノーマル映像のうち一つに決定することができる。一実施形態による向上レイヤ符号化部１２は、第１向上レイヤノーマル映像に対して、第１基本レイヤノーマル映像を参照するインターレイヤ予測、及び向上レイヤＲＡＰ映像を参照するインター予測を行うことができる。

【0077】

一実施形態によって、第１基本レイヤＲＡＰ映像から復号化が始まる場合、第１基本レイヤＲＡＰ映像より復元順序が先立つ基本レイヤＲＡＳＬ映像に対する復号化は、省略される。一実施形態によって、復号化が省略された基本レイヤ映像に対応する向上レイヤ映像に対する復号化も、省略される。

【0078】

他の実施形態によって、マルチレイヤビデオ符号化装置１０が、時間階層的予測構造による場合、向上レイヤ符号化部１２は、向上レイヤ映像の時間階層識別番号より下位階層の時間階層識別番号が割り当てられた第１基本レイヤ映像を参照し、第１向上レイヤ映像に対するインターレイヤ予測を行うことができる。

【0079】

従って、一実施形態によるマルチレイヤビデオ符号化装置１０によれば、基本レイヤ映像と、向上レイヤ映像とのインターレイヤ予測、及びレイヤ間に対して同期化された出力を保証するために、互いに同じ再生順序ＰＯＣ（picture order count）が割り当てられた基本レイヤ映像と、向上レイヤ映像とのインターレイヤ予測が行われる。

【0080】

また、ランダムアクセス地点または視点変換が発生し、基本レイヤＲＡＳＬ映像で復元が省略される場合にも、基本レイヤＲＡＳＬ映像に互いに相応する向上レイヤＲＡＳＬ映像で、復元が省略される。

【0081】

図２Ａは、本発明の一実施形態によるマルチレイヤビデオ復号化装置のブロック図を図示している。

【0082】

一実施形態によるマルチレイヤビデオ復号化装置２０は、基本レイヤ復号化部２２及び向上レイヤ復号化部２４を含む。

【0083】

一実施形態によるマルチレイヤビデオ復号化装置２０は、基本レイヤストリーム及び向上レイヤストリームを受信する。マルチレイヤビデオ復号化装置２０が、スケーラブル・ビデオコーディング方式によって、基本階層ストリームとして、基本レイヤ映像の符号化データが収録された基本レイヤストリームを受信し、向上階層ストリームとして、向上レイヤ映像の符号化データが収録された向上レイヤストリームを受信することができる。

【0084】

一実施形態によるマルチレイヤビデオ復号化装置２０は、多数のレイヤストリームをスケーラブル・ビデオコーディング（scalable video coding）方式によって、復号化することもできる。一実施形態によるマルチレイヤビデオ符号化装置１０は、基本レイヤストリームを復号化し、基本レイヤ映像を復元し、向上レイヤストリームを復号化し、向上レイヤ映像を復元することができる。

【0085】

例えば、多視点ビデオがスケーラブル・ビデオコーディング方式によって符号化される。例えば、基本レイヤストリームを復号化し、中央視点映像が復元される。基本レイヤストリームに、第１向上レイヤストリームをさらに復号化し、左視点映像が復元される。基本レイヤストリームに、第２向上レイヤストリームをさらに復号化し、右視点映像が復元される。

【0086】

他の例として、時間階層的予測によって、スケーラブル・ビデオコーディング方式が遂行される。基本レイヤストリームを復号化し、基本フレームレートの映像が復元される。基本レイヤストリームに、向上レイヤストリームをさらに復号化し、高速フレームレートの映像が復元される。

【0087】

また、向上レイヤが３以上である場合、最初の向上レイヤストリームから、最初の向上レイヤに係わる最初の向上レイヤ映像が復元され、２番目の向上レイヤストリームをさらに復号化すれば、２番目の向上レイヤ映像がさらに復元される。最初の向上レイヤストリームに、Ｋ番目の向上レイヤストリームをさらに復号化すれば、Ｋ番目の向上レイヤ映像がさらに復元される。

【0088】

一実施形態によるマルチレイヤビデオ復号化装置２０は、ビデオのそれぞれの映像のブロック別に復号化する。一実施形態によるブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。

【0089】

一実施形態によるマルチレイヤビデオ復号化装置２０は、基本レイヤストリーム及び向上レイヤストリームから、基本レイヤ映像及び向上レイヤ映像の符号化されたデータを獲得し、さらに、インター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された変移情報をさらに獲得することができる。

【0090】

例えば、一実施形態によるマルチレイヤビデオ復号化装置２０は、各レイヤ別に、インター予測されたデータを復号化し、多数レイヤ間でインターレイヤ予測されたデータを復号化することができる。一実施形態による符号化単位または予測単位を基に、動き補償（motion compensation）、及びインターレイヤ復号化を介した復元が行われる。

【0091】

各レイヤストリームについては、同一レイヤのインター予測を介して予測された映像を相互参照する動き補償を行い、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像の残差成分とを合成し、現在映像の復元映像を再構成する動作を意味する。

【0092】

また、一実施形態によるマルチレイヤビデオ復号化装置２０は、インターレイヤ予測を介して予測された向上レイヤ映像を復元するために、基本レイヤ映像を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像の変移情報を利用して決定された異なるレイヤの参照映像と、現在映像の残差成分とを合成し、現在映像の復元映像を再構成する動作を意味する。

【0093】

一実施形態によるマルチレイヤビデオ復号化装置２０は、最初の向上レイヤ映像を参照して予測された２番目の向上レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。

【0094】

一実施形態による、基本レイヤ映像及び向上レイヤ映像は、ランダムアクセスが可能な地点であるＲＡＰ映像を含んでもよい。以下、基本レイヤ復号化部２２と、向上レイヤ復号化部２４との具体的な復号化過程について詳細に説明する。

【0095】

一実施形態による基本レイヤ復号化部２２は、受信された基本レイヤストリームを復号化し、基本レイヤ映像を復元する。具体的には、基本レイヤストリームをパージングして抽出されたシンボルに対して、エントロピー復号化、逆量子化、逆変換を行い、基本レイヤ映像の残差成分が復元される。

【0096】

基本レイヤ復号化部２２は、基本レイヤ映像の量子化された変換係数のビットストリームを直接受信することもできる。量子化された変換係数に対して、逆量子化、逆変換を行った結果、基本レイヤ映像の残差成分が復元される。基本レイヤ復号化部２２は、基本レイヤ映像を相互参照する動き補償を介して、基本レイヤ映像を復元することができる。

【0097】

一実施形態による基本レイヤ復号化部２２は、基本レイヤストリームのうち、Ｉタイプである基本レイヤＲＡＰ映像の量子化された変換係数を復号化し、基本レイヤＲＡＰ映像を復元することができる。一実施形態による基本レイヤ復号化部２２は、基本レイヤ映像のうち、Ｉタイプである基本レイヤＲＡＰ映像は、他の基本レイヤ映像を参照せずに復元することができる。一実施形態による基本レイヤ復号化部２２は、同一ピクチャ内で、現在ブロックの周辺ピクセルを利用するイントラ予測を介して、Ｉタイプである基本レイヤＲＡＰ映像のブロックのピクセルを復元することもできる。

【0098】

また、基本レイヤ復号化部２２は、基本レイヤ映像のうち基本レイヤＲＡＰ映像を除いた基本レイヤ映像については、他の基本レイヤ映像を参照する動き補償を介して、基本レイヤ映像を復元することができる。基本レイヤ復号化部２２は、基本レイヤＲＡＰ映像を除いた基本レイヤ映像の残差成分を復元し、基本レイヤ映像のうち参照映像を決定し、参照映像を残差成分ほど補償することにより、基本レイヤ映像を復元することができる。

【0099】

一実施形態による向上レイヤ復号化部２４は、向上レイヤストリームを復号化し、向上レイヤ映像を復元する。具体的には、向上レイヤストリームをパージングして抽出されたシンボルに対して、エントロピー符号化、逆量子化、逆変換を行い、ブロック別残差成分が復元される。向上レイヤ復号化部２４は、残差成分の量子化された変換係数のビットストリームを直接受信し、ビットストリームに対して逆量子化、逆変換を行い、残差成分が復元される。

【0100】

一実施形態による向上レイヤ復号化部２４は、向上レイヤストリームを復号化するために、基本レイヤストリームから復元された基本レイヤ映像を参照する動き補償と、同一レイヤ映像を参照するインターレイヤ復号化とを介して、向上レイヤ映像を復元することができる。

【0101】

一実施形態による向上レイヤ復号化部２４は、基本レイヤ復号化部２２で復元された基本レイヤ映像を参照するインターレイヤ復号化を介して、向上レイヤ映像を復元することができる。所定向上レイヤについては、基本レイヤ映像だけでなく、現在向上レイヤではない他の向上レイヤの映像も参照するインターレイヤ復号化を介して、現在向上レイヤ映像が復元される。

【0102】

動き補償やインターレイヤ復号化は、参照される映像が先に復元されてこそ可能である。ただし、ランダムアクセスが可能なＲＡＰ映像は、同一レイヤの他の映像を参照しない。従って、一実施形態によって、ＲＡＰ映像でランダムアクセスが発生する場合、同一レイヤで、先に復元された映像がないとしても、ＲＡＰ映像は、直ちに復号化される。一実施形態によるマルチレイヤ予測構造では、基本レイヤ映像のうちＲＡＰ映像が存在すれば、向上レイヤ映像のうち、基本レイヤＲＡＰ映像に対応する向上レイヤＲＡＰ映像が復元される。

【0103】

また、向上レイヤ復号化部２４は、同一レイヤである向上レイヤ映像を参照する動き補償を行い、向上レイヤ映像を復元することができる。特に、一実施形態による向上レイヤ復号化部２４は、同一レイヤである向上レイヤＲＡＰ映像を参照する動き補償を介して、向上レイヤ映像を復元することができる。

【0104】

向上レイヤ復号化部２４は、ＲＡＰ映像ではない向上レイヤ映像のために、他のレイヤ映像を参照するインターレイヤ復号化と、同一レイヤ映像を参照する動き補償とを介して、向上レイヤ映像を復元することができる。

【0105】

具体的には、向上レイヤ復号化部２４は、向上レイヤストリームを復号化し、向上レイヤＲＡＰ映像を除いた向上レイヤ映像の動きベクトルと、残差成分とを獲得することができる。向上レイヤ復号化部２４は、動きベクトルを利用して、同一レイヤ映像のうち参照映像を決定し、参照映像を残差成分ほど補償することにより、向上レイヤ映像を復元することができる。現在映像の現在ブロックの動きベクトルを利用して、参照映像のうち参照ブロックが決定される。

【0106】

具体的には、向上レイヤ復号化部２４は、向上レイヤストリームを復号化し、向上レイヤＲＡＰ映像を除いた向上レイヤ映像の変移情報と、残差成分とを獲得することができる。向上レイヤ復号化部２４は、変移情報を利用して、他のレイヤ映像のうち参照映像を決定し、参照映像を残差成分ほど補償することにより、向上レイヤ映像を復元することができる。

【0107】

一実施形態による向上レイヤ復号化部２４は、多数の向上レイヤストリームを復号化する場合には、各レイヤ別に、向上レイヤストリームを復号化し、各レイヤ別に、向上レイヤ映像を復元することができる。以下、説明の便宜のために、一実施形態による向上レイヤ復号化部２４の符号化動作は、１レイヤの向上レイヤストリームに係わる動作として記述する。ただし、向上レイヤ復号化部２４の動作は、ただ１つのレイヤの向上レイヤストリームに対してのみ遂行される動作ではなく、他のレイヤストリームそれぞれについても、同一の動作が遂行される。

【0108】

一実施形態による向上レイヤ復号化部２４は、向上レイヤ映像を復元するために、基本レイヤ映像を参照するインターレイヤ復号化と、同一レイヤ復元映像を参照する動き補償とを行うことができる。

【0109】

一実施形態によるマルチレイヤビデオ復号化装置２０のマルチレイヤ予測構造により、第１レイヤストリームが復号化されている最中に、レイヤ変換によって、第２レイヤストリームが復号化される。例えば、多視点映像構造で、視点変換が発生したり、あるいは時間階層的予測構造で、時間階層の変換が発生する場合、マルチレイヤ予測構造で、レイヤ変換が行われる。その場合にも、レイヤ変換地点では、先に復元された同一レイヤ映像が存在しないので、インター予測が不可能である。

【0110】

一実施形態によって、ＲＡＰ映像でランダムアクセスまたはレイヤ変換が発生する場合、各レイヤ別に相応する映像を共に復元されるべきである。以下、一実施形態によるマルチレイヤビデオ復号化装置２０が、各レイヤごとにレイヤ変換地点が特定されるマルチレイヤ予測構造によって、スケーラブルビデオ復号化を行う動作について詳細に説明する。

【0111】

一実施形態によるマルチレイヤ予測構造では、基本レイヤ映像のうちＲＡＰ映像が存在すれば、向上レイヤ映像のうち、基本レイヤＲＡＰ映像に対応する向上レイヤ映像を、基本レイヤＲＡＰ映像と同種のＲＡＰ映像と決定することができる。例えば、基本レイヤＲＡＰ映像がＩＤＲ映像であるならば、それに対応する向上レイヤ映像も、ＩＤＲ映像と決定することができる。基本レイヤＣＲＡ映像に対応する向上レイヤ映像も、ＣＲＡ映像と決定することができる。基本レイヤＢＬＡ映像に対応する向上レイヤ映像も、ＢＬＡ映像と決定することができる。基本レイヤＴＳＡ映像に対応する向上レイヤ映像も、ＴＳＡ映像と決定することができる。

【0112】

また、基本レイヤＲＡＳＬ映像に対応する向上レイヤ映像も、ＲＡＳＬ映像と決定することができる。

【0113】

一実施形態による基本レイヤ複花部２２及び向上レイヤ復号化部２４は、ナルユニットごとに、映像別符号化データを獲得することができる。ナルユニットタイプ情報をパージングし、現在映像がトレーリングピクチャ、ＴＳＡ映像、ＳＴＳＡ映像、ＲＡＤＬ映像、ＲＡＳＬ映像、ＢＬＡ映像、ＩＤＲ映像、ＣＲＡ映像、ＶＬＡ映像であるかということを決定することができる。

【0114】

段階２１で、一実施形態による基本レイヤ復号化部２２は、基本レイヤストリームに対して、動き補償及びイントラ復号化を行い、基本レイヤ映像を復元することができる。基本レイヤ復号化部２２は、イントラ復号化を介して、基本レイヤＲＡＰ映像を復元することができる。基本レイヤ復号化部２２は、基本レイヤＲＡＰ映像を参照し、少なくとも１つの基本レイヤ非ＲＡＰ映像のための動き補償を行うことができる。第１基本レイヤＲＡＰ映像より復元順序が先立つ向上レイヤ映像を除いた少なくとも１つの向上レイヤ映像を参照し、第１基本レイヤＲＡＰ映像より復元順序が後になる基本レイヤ映像のための動き補償が行われる。

【0115】

段階２３で、一実施形態による向上レイヤ復号化部２４は、基本レイヤＲＡＰ映像に対応する地点の向上レイヤＲＡＰ映像のためのインターレイヤ復号化を行うことができる。先に復元された基本レイヤＲＡＰ映像を参照したインターレイヤ復号化を介して、向上レイヤＲＡＰ映像が復元される。また、向上レイヤ復号化部２４は、向上レイヤＲＡＰ映像を利用して、向上レイヤ映像に対する動き補償も行うことができる。

【0116】

一実施形態による基本レイヤ復号化部２２は、基本レイヤＩＤＲ映像のために、イントラ復号化を行うことができる。基本レイヤ復号化部２２は、基本レイヤＩＤＲ映像を参照するインター予測を行い、少なくとも１つの基本レイヤ映像を復元することができる。基本レイヤＩＤＲ映像より復元順序が後になる基本レイヤ映像のためには、基本レイヤＩＤＲ映像を利用する動き補償が行われる。

【0117】

一実施形態による向上レイヤ復号化部２４は、基本レイヤＩＤＲ映像に対応する向上レイヤＩＤＲ映像を復元するために、基本レイヤＩＤＲ映像を参照し、インターレイヤ復号化を行うことができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＩＤＲ映像に対応する地点の向上レイヤＩＤＲ映像を参照し、少なくとも１つの向上レイヤ映像に対するインター予測を行うことができる。また、向上レイヤＩＤＲ映像より復元順序が後になる向上レイヤ映像に対して、先に復元された向上レイヤＩＤＲ映像を利用するインター予測が行われる。

【0118】

一実施形態による基本レイヤ復号化部２２は、ナルユニットから、ＩＤＲ映像であるということを示すナルユニットタイプ情報を獲得し、現在映像がＩＤＲ映像であるということを決定することができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＩＤＲ映像に対応する向上レイヤ映像のナルユニットから、ＩＤＲ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0119】

一実施形態による基本レイヤ復号化部２２は、基本レイヤＣＲＡ映像を復元するために、イントラ復号化を行うことができる。基本レイヤ復号化部２２は、基本レイヤＣＲＡ映像より復元順序が後になる少なくとも１つの基本レイヤ映像を復元するために、基本レイヤＣＲＡ映像を参照する動き補償を行うことができる。基本レイヤＣＲＡ映像より復元順序が後になる映像は、基本レイヤＣＲＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0120】

一実施形態による向上レイヤ復号化部２４は、基本レイヤＣＲＡ映像に対応する向上レイヤＣＲＡ映像を復元するために、基本レイヤＣＲＡ映像を参照するインターレイヤ復号化を行うことができる。一実施形態による向上レイヤ復号化部２４は、向上レイヤストリームのうち、基本レイヤＣＲＡ映像に対応する地点の向上レイヤＣＲＡ映像を復号化することができる。向上レイヤ復号化部２４は、少なくとも１つの向上レイヤ映像を復元するために、向上レイヤＣＲＡ映像を参照する動き補償を行うことができる。また、向上レイヤＣＲＡ映像より復元順序が後になる向上レイヤ映像を復元するために、向上レイヤストリームのうち、先に復元された向上レイヤＣＲＡ映像を利用する動き補償が行われる。向上レイヤＣＲＡ映像より復元順序が後になる映像は、向上レイヤＣＲＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0121】

一実施形態による基本レイヤ復号化部２２は、ナルユニットから、ＣＲＡ映像であるということを示すナルユニットタイプ情報を獲得し、現在映像がＣＲＡ映像であるということを決定することができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＣＲＡ映像に対応する向上レイヤ映像のナルユニットから、ＣＲＡ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0122】

一実施形態による基本レイヤ復号化部２２は、基本レイヤストリームのうち、ランダムアクセスが可能な地点に対して、イントラ復号化を行い、基本レイヤＢＬＡ映像を復元することができる。基本レイヤ復号化部２２は、基本レイヤＢＬＡ映像より復元順序が後になる少なくとも１つの基本レイヤ映像のために、基本レイヤＢＬＡ映像を参照する動き補償を行うことができる。基本レイヤＢＬＡ映像より復元順序が後になる映像は、基本レイヤＢＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0123】

一実施形態による向上レイヤ復号化部２４は、基本レイヤＢＬＡ映像に対応する向上レイヤＢＬＡ映像を復元するために、基本レイヤＢＬＡ映像を参照するインターレイヤ復号化が行われる。一実施形態による向上レイヤ復号化部２４は、向上レイヤストリームのうち、基本レイヤＢＬＡ映像に対応する地点に対して、インターレイヤ復号化を行い、向上レイヤＢＬＡ映像を復元することができる。また、向上レイヤＢＬＡ映像を参照し、少なくとも１つの向上レイヤ映像のための動き補償を行うことができる。また、向上レイヤＢＬＡ映像より復元順序が後になる向上レイヤ映像を復元するために、向上レイヤＢＬＡ映像を利用する動き補償が行われる。向上レイヤＢＬＡ映像より復元順序が後になる映像は、向上レイヤＢＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を利用することができない。

【0124】

一実施形態による基本レイヤ復号化部２２は、ナルユニットから、ＢＬＡ映像であるということを示すナルユニットタイプ情報を獲得し、現在映像がＢＬＡ映像であるということを決定することができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＢＬＡ映像に対応する向上レイヤ映像のナルユニットから、ＢＬＲ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0125】

一実施形態による基本レイヤ復号化部２２は、第１基本レイヤＲＡＰ映像と、第１基本レイヤＲＡＰ映像より復元順序が先立つ第２基本レイヤＲＡＰ映像とを参照し、基本レイヤＲＡＳＬ映像のための動き補償を行うことができる。

【0126】

一実施形態による向上レイヤ復号化部２４は、向上レイヤストリームのうち、基本レイヤＲＡＳＬ映像に対応する地点のため、に第１基本レイヤＲＡＳＬ映像を参照するインターレイヤ復号化を行い、第１向上レイヤＲＡＳＬ映像を復元することができる。また、一実施形態による向上レイヤ復号化部２４は、第１向上レイヤＲＡＰ映像と、第１向上レイヤＲＡＰ映像より復元順序が先立つ第２向上レイヤＲＡＰ映像とを参照し、一実施形態による第１向上レイヤＲＡＳＬ映像のための動き補償を行うことができる。

【0127】

他の実施形態による向上レイヤ復号化部２４は、向上レイヤ映像のうち第１向上レイヤＶＬＡ映像を決定することができる。向上レイヤＶＬＡ映像に対応する基本レイヤ映像は、ＲＡＰ映像及び非ＲＡＰ映像のうち一つでもある。すなわち、ＶＬＡ映像に対応する他のレイヤ映像は、ＲＡＰ映像ではない。向上レイヤ復号化部２４は、向上レイヤＶＬＡ映像を復元するために、基本レイヤ映像を参照するインターレイヤ復号化を行うことができる。向上レイヤＶＬＡ映像を復元するために、同一レイヤ映像を参照するインター予測は、遂行されない。

【0128】

他の実施形態によって、向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像のインター予測のために、向上レイヤＶＬＡ映像に対して、復元順序及び再生順序が後になるか、あるいはそれと同じである向上レイヤ映像のうち少なくとも一つが参照される。他の実施形態によって、向上レイヤＶＬＡ映像より復元順序が後になる向上レイヤ映像は、向上レイヤＶＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ向上レイヤ映像を利用することができない。復元順序上、ＶＬＡ映像より先立つ映像は、再生順序上でも、ＶＬＡ映像に先立つ。現在ＶＬＡ映像に対するＲＡＳＬ映像が、以前ＶＬＡ映像も参照する場合、ＲＡＳＬ映像は、正確に復号化されない。特に、現在ＶＬＡ映像でレイヤ変換が発生するならば、ＲＡＳＬ映像は、復元せずに無視することができる。

【0129】

一実施形態による向上レイヤ復号化部２４は、基本レイヤＶＬＡ映像に対応する向上レイヤ映像のナルユニットから、ＶＬＡ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0130】

一実施形態による基本レイヤ復号化部２２は、第１基本レイヤノーマル映像に対して、動き補償を行うことができる。一実施形態による向上レイヤ復号化部２２は、第１基本レイヤ映像に対応する第１向上レイヤ映像を、第１向上レイヤＣＲＡ映像、第１向上レイヤＲＡＳＬ映像及び第１向上レイヤノーマル映像のうち一つに決定することができる。一実施形態による向上レイヤ復号化部２２は、第１基本レイヤノーマル映像を参照するインターレイヤ予測、及び向上レイヤＲＡＰ映像を参照する動き補償を介して、第１向上レイヤノーマル映像を復元することができる。

【0131】

一実施形態による基本レイヤ復号化部２２は、第１基本レイヤＲＡＰ映像から復号化を始める場合、第１基本レイヤＲＡＰ映像より復元順序が先立つ基本レイヤＲＡＳＬ映像に対する復号化を省略することができる。一実施形態による基本レイヤ復号化部２２は、復号化が省略された基本レイヤ映像に対応する向上レイヤ映像に対する復号化も省略することができる。

【0132】

例えば、基本レイヤストリームに係わり、ランダムアクセスが発生した地点の次に、最も近い第１基本レイヤＩＤＲ映像が復元される。第１基本レイヤＲＡＳＬ映像が、第１基本レイヤＩＤＲ映像より復元順序が後になるが、第１基本レイヤＩＤＲ映像より復元順序が先立つ映像を参照するので、第１基本レイヤＲＡＳＬ映像は、復号化されない。それにより、第１基本レイヤＲＡＳＬ映像に対応する向上レイヤＲＡＳＬ映像も、復号化されないこともある。

【0133】

例えば、基本レイヤストリームに係わって、ランダムアクセスが発生した地点以後、またはストリーム編集地点以後、最も近い第１基本レイヤＣＲＡ映像（または、ＢＬＡ映像）が復元される。第１基本レイヤＲＡＳＬ映像が、第１基本レイヤＣＲＡ映像（またはＢＬＡ映像）より復元順序が後になるが、第１基本レイヤＣＲＡ映像（またはＢＬＡ映像）より復元順序が先立つか、あるいは再生順序が先立つ映像を参照するので、第１基本レイヤＲＡＳＬ映像は、復号化されない。それにより、第１基本レイヤＲＡＳＬ映像に対応する向上レイヤＲＡＳＬ映像も復号化されない。

【0134】

例えば、基本レイヤストリームにおいて、視点変換が発生した地点以後、最も近い第１基本レイヤＶＬＡ映像が復元される。第１基本レイヤＲＡＳＬ映像が、第１基本レイヤＶＬＡ映像より復元順序が後になるが、第１基本レイヤＶＬＡ映像より復元順序が先立つか、あるいは再生順序が先立つ映像を参照するので、第１基本レイヤＲＡＳＬ映像は、復号化されない。それにより、第１基本レイヤＲＡＳＬ映像に対応する向上レイヤＲＡＳＬ映像も復号化されない。

【0135】

一実施形態による基本レイヤ復号化部２２は、ナルユニットから、ＲＡＳＬ映像であるということを示すナルユニットタイプ情報を獲得し、現在映像がＲＡＳＬ映像であるということを決定することができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＲＡＳＬ映像に対応する向上レイヤ映像のナルユニットから、ＲＡＳＬ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0136】

同様に、一実施形態による基本レイヤ復号化部２２は、ナルユニットから、ＲＡＤＬ映像であるということを示すナルユニットタイプ情報を獲得し、現在映像が、ＲＡＤＬ映像であるということを決定することができる。一実施形態による向上レイヤ復号化部２４は、基本レイヤＲＡＤＬ映像に対応する向上レイヤ映像のナルユニットから、ＲＡＤＬ映像であるということを示すナルユニットタイプ情報を獲得することができる。

【0137】

他の実施形態によって、マルチレイヤビデオ復号化装置２０が時間階層的予測構造による場合、向上レイヤ復号化部２２は、向上レイヤ映像の時間階層識別番号より下位階層の時間階層識別番号が割り当てられた第１基本レイヤ映像を参照し、第１向上レイヤ映像のためのインターレイヤ復号化を行うことができる。それにより、基本レイヤ映像から、低速フレームレートの映像が復元され、向上レイヤ映像から、高速フレームレートの映像が復元される。

【0138】

また、一実施形態によるマルチレイヤビデオ復号化装置２０によれば、互いに同じ再生順序ＰＯＣが割り当てられた基本レイヤ映像と、向上レイヤ映像との間でインターレイヤ復号化を行うことにより、基本レイヤ映像と向上レイヤ映像との同期化された出力が保証される。

【0139】

図３は、一実施形態によるインターレイヤ予測構造を図示している。

【0140】

インターレイヤ符号化システム１６００は、基本レイヤ符号化端１６１０及び向上レイヤ符号化端１６６０、並びに基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０との間のインターレイヤ予測端１６５０から構成される。基本レイヤ符号化端１６１０及び向上レイヤ符号化端１６６０は、それぞれ基本レイヤ符号化部１２及び向上レイヤ符号化部１４の具体的な構成を図示することができる。

【0141】

基本レイヤ符号化端１６１０は、基本レイヤ映像シーケンスを入力され、映像ごとに符号化する。向上レイヤ符号化端１６６０は、向上レイヤ映像シーケンスを入力され、映像ごとに符号化する。基本レイヤ符号化端１６１０と向上レイヤ符号化端１６６０との動作のうち重複する動作は、同時に後述する。

【0142】

ブロック分割部１６１８，１６６８を介して、入力映像（低解像度映像、高解像度映像）は、最大符号化単位、符号化単位、予測単位、変換単位などに分割される。ブロック分割部１６１８，１６６８から出力された符号化単位の符号化のために、符号化単位の予測単位別に、イントラ予測またはインター予測が行われる。予測スイッチ１６４８，１６９８は、予測単位の予測モードが、イントラ予測モードまたはインター予測モードであるかということにより、動き補償部１６４０，１６９０から出力された以前復元映像を参照し、インター予測が行われるか、あるいはイントラ予測部１６４５，１６９５から出力された現在入力映像内で、現在予測単位の隣接予測単位を利用して、イントラ予測が行われる。インター予測を介して、予測単位別にレジデュアル情報が生成される。

【0143】

符号化単位の予測単位別に、予測単位と周辺映像とのレジデュアル情報が、変換／量子化部１６２０，１６７０に入力される。変換／量子化部１６２０，１６７０は、符号化単位の変換単位を基に、変換単位別に変換及び量子化を行い、量子化された変換係数を出力することができる。

【0144】

スケーリング／逆変換部１６２５，１６７５は、さらに符号化単位の変換単位別に、量子化された変換係数に対してスケーリング及び逆変換を行い、空間領域のレジデュアル情報を生成することができる。予測スイッチ１６４８，１６９８によって、インターモードで制御される場合、レジデュアル情報は、以前復元映像または隣接予測単位と合成されることにより、現在予測単位を含む復元映像が生成され、現在復元映像は、ストレージ１６３０，１６８０に保存される。現在復元映像は、さらに次に符号化される予測単位の予測モードによって、イントラ予測部１６４５，１６９５／動き補償部１６４０，１６９０に伝達される。

【0145】

特に、インターモードである場合、インループ・フィルタリング（in-loopfiltering）部１６３５，１６８５は、ストレージ１６３０，１６８０に保存された復元映像に対して、符号化単位別にデブロッキング・フィルタリング及びＳＡＯ（sample adaptive offset）フィルタリングのうち少なくとも１つのフィルタリングを行うことができる。符号化単位及び符号化単位に含まれた予測単位及び変換単位のうち少なくとも一つに対して、デブロッキング・フィルタリング及びＳＡＯフィルタリングのうち少なくとも１つのフィルタリングが行われる。

【0146】

デブロッキング・フィルタリングは、データ単位のブロッキング現象を緩和させるためのフィルタリングであり、ＳＡＯフィルタリングは、データ符号化及びデータ復号化によって変形されるピクセル値を補償するためのフィルタリングである。インループ・フィルタリング部１６３５，１６８５によってフィルタリングされたデータは、予測単位別に、動き補償部１６４０，１６９０に伝達される。さらに、ブロック分割部１６１８，１６６８から出力された、次の順序の符号化単位の符号化のために、動き補償部１６４０，１６９０及びブロック分割部１６１８，１６６８が出力した現在復元映像と次符号化単位とのレジデュアル情報が生成される。

【0147】

そのように、入力映像の符号化単位ごとに、前述の符号化動作が反復される。

【0148】

また、インターレイヤ予測のために、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０のストレージ１６３０に保存された復元映像を参照することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０のストレージ１６３０を制御し、基本レイヤ符号化端１６１０の復元映像を、向上レイヤ符号化端１６６０に伝達する。インターレイヤ予測端１６５０では、インループ・フィルタリング部１６５５が、基本レイヤ符号化端１６１０のストレージ１６１０から出力された基本レイヤ復元映像に対して、デブロッキング・フィルタリング、ＳＡＯフィルタリング及びＡＬＦフィルタリングのうち少なくとも一つを行うことができる。インターレイヤ予測端１６５０は、基本レイヤと向上レイヤとの映像で解像度が異なる場合、基本レイヤの復元映像をアップサンプリングし、向上レイヤ符号化端１６６０に伝達する。向上レイヤ符号化端１６６０のスイッチ１６９８の制御によって、インターレイヤ予測が行われる場合には、インターレイヤ予測端１６５０を介して伝達された基本レイヤ復元映像を参照し、向上レイヤ映像のインターレイヤ予測が行われもする。

【0149】

映像の符号化のために、符号化単位、予測単位、変換単位のための各種符号化モードを設定することができる。例えば、符号化単位に対する符号化モードとして、深度または分割情報（split flag）などが設定される。予測単位に対する符号化モードとして、予測モード、パーティションタイプ、イントラ方向情報、参照リスト情報などが設定される。変換単位に対する符号化モードとして、変換深度または分割情報などが設定される。

【0150】

基本レイヤ符号化端１６１０は、符号化単位のための多様な深度、予測単位に対する多様な予測モード、多様なパーティションタイプ、多様なイントラ方向、多様な参照リスト、変換単位のための多様な変換深度をそれぞれ適用して符号化を行った結果により、符号化効率が最も高い符号化深度、予測モード、パーティションタイプ、イントラ方向／参照リスト、変換深度などを決定することができる。基本レイヤ符号化端１６１０で決定される前記列挙された符号化モードに限定されるものではない。

【0151】

基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、それぞれ構成要素の動作に、多様な符号化モードが適切に適用されるように制御することができる。また、符号化コントロール部１６１５は、向上レイヤ符号化端１６６０のインターレイヤ符号化のために、向上レイヤ符号化端１６６０が、基本レイヤ符号化端１６１０の符号化結果を参照し、符号化モードまたはレジデュアル情報を決定するように制御することができる。

【0152】

例えば、向上レイヤ符号化端１６６０は、基本レイヤ符号化端１６１０の符号化モードを、向上レイヤ映像のための符号化モードとして、そのまま利用するか、あるいは基本レイヤ符号化端１６１０の符号化モードを参照し、向上レイヤ映像のための符号化モードを決定することができる。基本レイヤ符号化端１６１０の符号化コントロール部１６１５は、基本レイヤ符号化端１６１０の向上レイヤ符号化端１６６０の符号化コントロール部１６６５の制御信号を制御し、向上レイヤ符号化端１６６０が、現在符号化モードを決定するために、基本レイヤ符号化端１６１０の符号化モードから、現在符号化モードを利用することができる。

【0153】

図３に図示されたインターレイヤ予測方式によるマルチレイヤ符号化システム１６００と同様に、インターレイヤ予測方式によるインターレイヤ復号化システムも、具現される。すなわち、マルチレイヤビデオのインターレイヤ復号化システムは、基本レイヤビットストリーム及び向上レイヤビットストリームを受信することができる。インターレイヤ復号化システムの基本レイヤ復号化端で、基本レイヤビットストリームを復号化し、基本レイヤ映像を復元することができる。マルチレイヤビデオのインターレイヤ復号化システムの向上レイヤ復号化端では、基本レイヤ復元映像と、パージングした符号化情報とを利用して、向上レイヤビットストリームを復号化し、向上レイヤ映像を復元することができる。

【0154】

図４Ａは、マルチレイヤ映像のマルチレイヤ予測構造４０を図示している。図４Ａに図示されたマルチレイヤ予測構造４０では、映像が再生順序ＰＯＣによって配列されている。マルチレイヤ予測構造４０の再生順序及び復元順序によれば、横方向に、同一レイヤの映像が配列されている。

【0155】

また、縦方向にＰＯＣ値の同一の映像が配列される。映像のＰＯＣ値は、ビデオを構成する映像の再生順序を示す。マルチレイヤ予測構造４０で表示されている「ＰＯＣ Ｘ」は、当該列（column）に位置した映像の相対的な再生順序を示し、Ｘの数字が小さいほど再生順序が先立ち、大きくなるほど再生順序が後になる。

【0156】

従って、マルチレイヤ予測構造４０の再生順序によれば、各レイヤ映像が、ＰＯＣ値（再生順序）によって横方向に配列されている。また、基本レイヤ映像と同一の列に位置した第１向上レイヤ映像及び第２向上レイヤ映像は、いずれもＰＯＣ値（再生順序）が同一である映像である。

【0157】

各レイヤ別に、４個の連続映像が１つのＧＯＰ（group of picture）を構成している。各ＧＯＰは，連続するアンカーピクチャ間の映像と，１つのアンカーピクチャとを含む。

【0158】

アンカーピクチャは、ランダムアクセスポイント（ＲＡＰ：random access point）であり、ビデオを再生するとき、映像の再生順序、すなわち、ＰＯＣ値によって配列された映像のうち任意に再生位置が選択されれば、再生位置でＰＯＣ順序が最も隣接するアンカーピクチャが再生される。基本レイヤ映像は、基本レイヤアンカーピクチャ４１，４２，４３，４４，４５を含み、第１向上レイヤ映像は、第１向上レイヤアンカーピクチャ１４１，１４２，１４３，１４４，１４５を含み、第２向上レイヤ映像は、第２向上レイヤアンカーピクチャ２４１，２４２，２４３，２４４，２４５を含む。

【0159】

マルチレイヤ映像は、ＧＯＰ順に再生され、予測（復元）される。まず、図４Ａのマルチレイヤ予測構造４０の再生順序及び復元順序によれば、各レイヤ別に、ＧＯＰ ０に含まれた映像が復元されて再生された後、ＧＯＰ １に含まれた映像が復元されて再生される。すなわち、ＧＯＰ ０、ＧＯＰ １、ＧＯＰ ２、ＧＯＰ ３の順序で、各ＧＯＰに含まれた映像が復元されて再生される。

【0160】

マルチレイヤ予測構造４０の再生順序及び復元順序によれば、映像に対して、インターレイヤ予測及びインター予測が行われる。マルチレイヤ予測構造４０で、矢印が始まる映像が参照映像であり、矢印が終わる映像が、参照映像を利用して予測される映像である。

【0161】

特に、マルチレイヤ予測構造４０の復元順序は、各映像の予測（復元）順序によって、映像が横方向に配列されている。すなわち、相対的に左側に位置する映像が先に予測（復元）される映像であり、相対的に右側に位置する映像が、後になって予測（復元）される映像である。先に復元される映像を参照し、次の映像が予測（復元）されるので、マルチレイヤ予測構造４０の復元順序において、同一レイヤ映像間の予測方向を示す矢印が、いずれも相対的に左側に位置する映像から、右側に位置する映像に向かうということが分かる。

【0162】

基本レイヤ映像の予測結果は、符号化された後、基本レイヤストリームの形態で出力される。また、第１向上レイヤ映像の予測符号化結果は、第１向上レイヤストリームとして、第２向上レイヤ映像の予測符号化結果は、第２向上レイヤストリームとして出力される。

【0163】

基本レイヤ映像については、インター予測だけが行われる。すなわち、Ｉタイプであるアンカーピクチャ４１，４２，４３，４４，４５は、他の映像を参照しないが、Ｂタイプ及びｂタイプである残りの映像は、他の基本レイヤ映像を参照して予測される。Ｂタイプ映像は、ＰＯＣ値が先立つＩタイプアンカーピクチャと、後になるＩタイプアンカーピクチャとを参照して予測される。ｂタイプ映像は、ＰＯＣ値が先立つＩタイプアンカーピクチャと、後になるＢタイプ映像とを参照するか、あるいはＰＯＣ値が先立つＢタイプ映像と、後になるＩタイプアンカーピクチャとを参照して予測される。

【0164】

第１向上レイヤ映像及び第２向上レイヤ映像については、基本レイヤ映像を参照するインターレイヤ予測、及び同一視点映像を参照するインター予測が行われる。

【0165】

基本レイヤ映像と同様に、第１向上レイヤ映像も、映像間予測が行われ、第２向上レイヤ映像も、インター予測が行われる。第１向上レイヤ映像及び第２向上レイヤ映像のうち、アンカーピクチャ１４１，１４２，１４３，１４４，１４５，２４１，２４２，２４３，２４４，２４５は、同一レイヤ映像を参照しないが、アンカーピクチャではない残りの映像は、同一レイヤ映像を参照して予測される。

【0166】

ただし、第１向上レイヤ映像及び第２向上レイヤ映像のうち、アンカーピクチャ１４１，１４２，１４３，１４４，１４５，２４１，２４２，２４３，２４４，２４５も、ＰＯＣ値が同一である基本レイヤアンカーピクチャ４１，４２，４３，４４，４５を参照するＰタイプ映像である。

【0167】

また、第１向上レイヤ映像及び第２向上レイヤ映像のうち、アンカーピクチャ１４１，１４２，１４３，１４４，１４５，２４１，２４２，２４３，２４４，２４５ではない残りの映像についても、インター予測だけでなく、ＰＯＣが同一である基本レイヤ映像を参照するインターレイヤ予測が行われるので、Ｂタイプ映像またはｂタイプ映像である。

【0168】

映像を再生するための復元過程も、予測過程と類似している。ただし、各映像の参照映像が復元された後でこそ、復元された参照映像を利用して各映像が復元される。

【0169】

まず、基本レイヤ映像は、動き補償を介して各映像が復元される。Ｉタイプである基本レイヤアンカーピクチャ４１，４２，４３，４４，４５が復元されれば、基本レイヤアンカーピクチャ４１，４２，４３，４４，４５を参照する動き補償を介して、Ｂタイプである基本レイヤ映像が復元される。また、ＩタイプまたはＢタイプである基本レイヤ復元映像を参照する動き補償を介して、ｂタイプである基本レイヤ映像が復元される。

【0170】

第１向上レイヤ映像と第２向上レイヤ映像は、それぞれ、基本レイヤ映像を参照するインターレイヤ予測と、同一レイヤ映像を参照するインター予測とを介して符号化される。

【0171】

すなわち、第１向上レイヤ映像の復元過程のために、基本視点の参照映像が復元された後、復元された基本レイヤ映像を参照するインターレイヤ変移補償を介して、第１向上レイヤ映像が復元される。また、第１向上レイヤの参照映像が復元された後、復元された第１向上レイヤの参照映像を参照する動き補償を介して、第１向上レイヤ映像が復元される。

【0172】

また、基本視点の参照映像が復元された後、基本視点の参照映像を参照するインターレイヤ変移補償を介して、第２向上レイヤ映像が復元される。第２向上レイヤの参照映像が復元された後、復元された第２向上レイヤの参照映像を参照する動き補償を介して、第２向上レイヤ映像が復元される。

【0173】

図４Ｂは、時間階層的符号化／復号化方式によるマルチレイヤ予測構造を図示している。

【0174】

時間階層的予測構造４０によって、スケーラブル・ビデオコーディング方式が遂行される。時間階層的予測構造４０によれば、階層的Ｂタイプ映像５５，５６，５７，５８，５９，６０，６１，６２，６３の予測構造を含む。レベル０の予測構造において、Ｉタイプ映像５１，５４のインター予測と、Ｐタイプ映像５２，５３のインター予測とが行われる。レベル１の予測構造では、Ｉ，Ｐタイプ映像５１，５２，５３，５４を参照するＢタイプ映像５５，５６，５７のインター予測が行われる。レベル２の予測構造では、Ｉ，Ｐタイプ映像５１，５２，５３，５４と、レベル１のＢタイプ映像５５，５６，５７とを参照するインター予測が行われる。

【0175】

「temporal＿ｉｄ」は、予測レベルを識別するための番号であり、各レベル映像が出力されるにつれてフレームレートが上昇する。例えば、レベル０映像５１，５２，５３，５４は、復号化されてフレームレート１５Ｈｚで出力され、レベル１映像５５，５６，５７まで復号化されて出力されれば、フレームレートが３０Ｈｚに上昇し、レベル２映像５８，５９，６０，６１，６２，６３まで復号化されて出力されれば、フレームレートが６０Ｈｚに上昇される。

【0176】

一実施形態によって、時間階層的予測構造４０をスケーラブル・ビデオコーディング方式で具現すれば、レベル０映像が基本レイヤ映像として符号化され、レベル１映像は、第１向上レイヤ映像として符号化され、レベル２映像は、第２向上レイヤ映像として符号化される。

【0177】

図４Ａ及び図４Ｂのマルチレイヤ予測構造の復号化過程で、動き補償やインターレイヤ復号化を介して映像を復元するためには、先に復元された基本レイヤ映像を利用するか、あるいは先に復元された向上レイヤ映像が利用される。しかし、レイヤ変換が発生したり、あるいはランダムアクセス要請が発生したりする場合、現在ＲＡＰ映像より復元順序が先立つ映像があらかじめ復元されてはいない。その場合、現在ＲＡＰ映像より復元順序が先立つ映像を参照して予測された映像は、復元されない。

【0178】

以下、図５Ａないし図７Ｂを参照し、ＲＡＰ映像の種類別にランダムアクセス要請が発生する場合、遂行される復号化動作について詳細に説明する。

【0179】

図５Ａ及び図５Ｂは、２つの実施形態によるＩＤＲ映像の再生順序と復元順序とを図示している。

【0180】

図５Ａで、ＧＯＰ ５０５，５１５，５２５の大きさは、それぞれ８である。Ｂ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６は、同一のＧＯＰに属するＢタイプ映像を再生順序によって並べた識別番号である。

【0181】

ＩＤＲ映像は、独立して符号化される映像である。ＩＤＲ映像の復号化過程で、復元映像は、いずれも「参照映像として使用されない映像（unused for refrence）」として表示される。復元順序上、ＩＤＲ映像に続く映像は、復元順序上、ＩＤＲ映像に先立つ映像を利用するインター予測を行わずにも復元される。符号化されたビデオシーケンスで、復元順序上、最初の映像のピクチャタイプは、ＩＤＲピクチャである。

【0182】

例えば、ＧＯＰ ５１５のＢタイプ映像は、ＩＤＲ映像より再生順序は先立つが、復元順序が後になる。また、ＧＯＰ ５１５のＢタイプ映像は、ＩＤＲ映像より復元順序が先立つ他の映像を全く参照しない。ＧＯＰ ５２５のＢタイプ映像は、ＩＤＲ映像より復元順序及び再生順序がいずれも後になり、ＩＤＲ映像より復元順序が先立つ他の映像を全く参照しない。

【0183】

ランダムアクセスが発生する場合を想定する。ランダムアクセス地点より復元順序が先立つ映像は、復元が不可能である。図５Ａで、再生順序上、ＧＯＰ ５１５のＢタイプ映像がＩＤＲ映像に先立つが、ＩＤＲ映像が復元された後に復元されたＩＤＲ映像を参照し、ＧＯＰ ５１５のＢタイプ映像が復元される。その場合、ＧＯＰ ５１５のＢタイプ映像は、いずれも復号化されて出力されるので、ＲＡＤＬ映像でもある。従って、Ｐ５１５のＢタイプ映像がいずれも再生されるので、ランダムアクセス地点と、ランダムアクセス再生が始まる地点とが一致する。

【0184】

図５Ｂで、ランダムアクセス地点から、再生順序上、ＧＯＰ ５１５のＢタイプ映像が復号化される必要がないので、ＩＤＲ映像からランダムアクセスが始まり、ＧＯＰ ５２５のＢタイプ映像が再生される。

【0185】

ＩＤＲ映像が使用される場合、ランダムアクセス地点から損失される映像なしに、再生順序による全ての映像が自然に復元されるが、符号化効率が低くなる。

【0186】

図６Ａ及び図６Ｂは、２つの実施形態によるＣＲＡ映像の再生順序と復元順序とを図示している。

【0187】

ＣＲＡ映像は、Ｉタイプスライスのみを含む映像である。ＣＲＡ映像の復号化過程で、ＤＰＢ（decoded picture buffer）に保存された復元映像は、いずれも「参照映像に使用されない映像」と表示される。復元順序と再生順序とがいずれも（both in decoding order and output order）ＣＲＡ映像に続く映像は、復元順序や再生順序が（either in decoding order or output order）ＩＤＲ映像に先立つ映像を利用するインター予測を行わずに復元される。復元順序上、ＣＲＡ映像より先立つ映像は、再生順序上でも、ＣＲＡ映像より先立つ。

【0188】

復元順序と再生順序とがいずれもＣＲＡ映像に続く映像は、ノーマル映像でもある。従って、ノーマル映像は、ＣＲＡ映像と同一のＧＯＰに位置する他のノーマル映像のうち、少なくとも１つの映像のみを利用することができる。

【0189】

ＣＲＡピクチャは、符号化されたビデオシーケンスで、復元順序上、最初の映像でもある。ただし、ランダムアクセスが発生しない一般再生の場合には、ビットストリーム中間に位置することもできる。

【0190】

例えば、図６Ａで、ＧＯＰ ６１５のＢタイプ映像は、ＣＲＡ映像より再生順序は、先立つが、復元順序が後になる。ＧＯＰ ６２５のＢタイプ映像は、ＣＲＡ映像より復元順序及び再生順序がいずれも後になるノーマル映像であり、ＩＤＲ映像より復元順序が先立つ他の映像を全く参照しない。ただし、ＧＯＰ ６１５のＢタイプ映像のうち一部映像は、ＣＲＡ映像より復元順序が先立つ他の映像を参照することもできる。

【0191】

図６Ｂのランダムアクセス地点では、ＧＯＰ ６１５のＢタイプ映像がランダムアクセス地点より先立つ映像を参照しており、復元されない。ＧＯＰ ６１５のＢタイプ映像は、復元過程で省略されるＲＡＳＬ映像である。従って、ＣＲＡ映像からランダムアクセス再生が始まり、直ちにＧＯＰ ６２５のＢタイプ映像が復元されて再生される。

【0192】

図７Ａ及び図７Ｂは、２つの実施形態によるＢＬＡ映像の再生順序と復元順序とを図示している。

【0193】

ビットストリームスライシング（bitstream slicing）は、現在ビットストリームのＲＡＰ映像位置に、他のビットストリームを連結させる動作である。新たなビットストリームが連結される地点は、「ブロークンリンク（broken link）」と呼ばれる。ビットストリームスライシングが可能な位置のＲＡＰ映像のナルユニットタイプは、ＢＬＡ映像と表示される。

【0194】

図７Ａを例として挙げれば、ＢＬＡ映像は、ＣＲＡ映像と、再生順序及び復元順序が類似している。ＢＬＡ映像は、再生順序上、リーディング映像であるＧＯＰ ７１６のＢタイプ映像に続き、ノーマル映像であるＧＯＰ ７２６のＢタイプ映像より先立つ。リーディング映像とノーマル映像は、復元順序上、ＢＬＡ映像に続く。

【0195】

リーディング映像のうち、映像Ｂ３，Ｂ４，Ｂ５，Ｂ６は、ＢＬＡ映像と、ＧＯＰ ７１６の他の映像とを参照するＲＡＳＬ映像である。しかし、リーディング映像のうち、映像Ｂ１，Ｂ２，Ｂ２は、ＢＬＡ映像より復元順序が先立つＧＯＰ ７０６の映像を参照するＲＡＤＬ映像である。

【0196】

従って、図７Ｂにおいて、ＢＬＡ映像でランダムアクセスが発生すれば、ＲＡＳＬ映像Ｂ１，Ｂ２，Ｂ２は、復元が省略され、ＲＡＤＬ映像Ｂ３，Ｂ４，Ｂ５，Ｂ６は、復元される。従って、ＲＡＤＬ映像Ｂ３から、再生順序によって出力される。

【0197】

図４Ｂを参照して説明した階層的予測構造において、時間階層変換またはレイヤ変換が発生するので、レイヤ変換が可能な位置として、ＴＳＡ（temporal sublayer access）映像が利用される。ＴＳＡ映像は、ＣＲＡ映像と類似している。下位レイヤ映像を復元していていて、ＴＳＡ映像から上位レイヤ映像を復元するレイヤ変換が可能である。例えば、「temporal＿ｉｄ」値が小さいほど下位レイヤである。同一レイヤにおいて、復元順序上、ＴＬＡ映像より後になる映像や、ＴＬＡ映像より上位レイヤ映像は、復元順序上、ＴＬＡ映像に先立つ以前ＴＬＡ映像の同一または上位レイヤの映像を参照することができない。ＴＬＡ映像の最下位レイヤ映像ではないので、「temporal＿ｉｄ」値も、０ではない。

【0198】

先に、図４Ｂ、図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７Ａ、図７Ｂを参照し、ランダムアクセスのためのＲＡＰタイプについて詳細に説明した。シングルレイヤで、ビデオストリームを復元している最中に、ランダムアクセス要請またはレイヤ変換が発生する場合、ＲＡＰ映像から映像が復元される。ただし、マルチレイヤの所定レイヤで、ランダムアクセスが発生し、当該レイヤの映像が復元されるならば、それに相応する他のレイヤ映像も正確に復元される必要がある。また、所定レイヤで、レイヤ変換やランダムアクセスの要請時、参照対象になる映像がＤＰＢに存在せず、ＲＡＳＬ映像の復元が省略されるならば、それに相応する他のレイヤの映像も、復元が省略される必要がある。

【0199】

従って、一実施形態によるマルチレイヤビデオ符号化装置１０は、各レイヤごとに、ランダムアクセス地点やレイヤ変換地点に、同一のナルユニットタイプのＲＰＡ映像を配置し、各レイヤごとに、同一位置に、ＲＡＳＬ映像またはＲＳＤＬ映像も配置することができる。また、マルチレイヤビデオ復号化装置２０は、各レイヤごとに、ランダムアクセス地点やレイヤ変換地点において、同一のナルユニットタイプのＲＰＡ映像を復元することができる。また、各レイヤごとに、同一位置でＲＳＤＬ映像を復元し、ＲＡＳＬ映像の復元を行うことができる。所定レイヤで、ランダムアクセスが発生するならば、各レイヤごとに、同一位置のＲＰＡ映像とＲＳＤＬ映像とが復元され、同一位置のＲＡＳＬ映像の復元は、省略される。

【0200】

例えば、基本レイヤＩＤＲ映像に対応する位置に、向上レイヤＩＤＲ映像が復元される。基本レイヤＣＲＡ映像に対応する位置で、向上レイヤ映像も、ＣＲＡ映像が復元される。基本レイヤＢＬＡ映像に対応する位置で、向上レイヤＢＬＡ映像が復元される。

【0201】

他の例として、基本レイヤ映像のナルユニットタイプと無関係に、向上レイヤで、ランダムアクセスやレイヤ変換のためのＶＬＡ映像が利用される。ＶＬＡ映像に対するインターレイヤ予測だけ行われ、インター予測が行われないので、レイヤ変換が発生するとしても、対応する基本レイヤ映像だけ復元されているならば、向上レイヤＶＬＡ映像が復元される。また、向上レイヤＶＬＡ映像に続く向上レイヤ映像に対するインター予測のために、ＶＬＡ映像より再生順序や復元順序が先立つ映像は、参照されない。

【0202】

また、一実施形態によるマルチレイヤビデオ符号化装置１０は、基本レイヤのノーマル映像に対応する向上レイヤのＣＲＡ映像、ＲＳＤＬ／ＲＡＳＬ映像またはノーマル映像を配置することもできる。一実施形態によるマルチレイヤビデオ復号化装置２０は、基本レイヤのノーマル映像に対応する向上レイヤのＣＲＡ映像、ＲＳＤＬ／ＲＡＳＬ映像またはノーマル映像を復元することもできる。

【0203】

また、基本レイヤ映像の時間階層番号「temporal＿ｉｄ」より、向上レイヤ映像の時間階層番号がさらに大きくなければならない。

【0204】

一実施形態によるマルチレイヤビデオ符号化装置１０及びマルチレイヤビデオ復号化装置２０によれば、マルチレイヤ予測構造で、ランダムアクセスやレイヤ変換が発生しても、各レイヤごとに、同一位置の映像が復元されたり、あるいは無視されたりする。それにより、インターレイヤ予測のための参照映像を確保することができ、各レイヤの出力映像が正確に同期化される。

【0205】

図１Ａによるマルチレイヤビデオ符号化装置１０は、映像ブロック別に、イントラ予測、インター予測、インターレイヤ予測、変換、量子化を行ってサンプルを生成し、サンプルに対してエントロピー符号化を行い、ビットストリーム形態で出力することができる。一実施形態によるマルチレイヤビデオ符号化装置１０のビデオ符号化結果、すなわち、基本レイヤ映像ストリーム及び向上レイヤ映像ストリームを出力するために、マルチレイヤビデオ符号化装置１０は、内部に搭載されたビデオエンコーディング・プロセッサまたは外部ビデオエンコーディング・プロセッサと連繋して作動することにより、変換、量子化を含んだビデオ符号化動作を遂行することができる。一実施形態によるマルチレイヤビデオ符号化装置１０の内部ビデオエンコーディング・プロセッサは、別個のプロセッサでもあるが、ビデオ符号化装置、中央演算装置またはグラフィック演算装置がビデオエンコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も含んでもよい。

【0206】

また、図２Ａによるマルチレイヤビデオ復号化装置２０は、受信された基本レイヤ映像ストリーム及び向上レイヤ映像ストリームに対してそれぞれ復号化を行う。すなわち基本レイヤ映像ストリーム及び向上レイヤ映像ストリームに対して、それぞれ映像ブロック別に、逆量子化、逆変換、イントラ予測、動き補償（映像間動き補償、インターレイヤ変移補償）を行い、基本レイヤ映像ストリームから、基本レイヤ映像のサンプルを復元し、向上レイヤ映像ストリームから、向上レイヤ映像のサンプルを復元することができる。一実施形態によるマルチレイヤビデオ復号化装置２０は、復号化結果として生成された復元映像を出力するために、内部に搭載されたビデオデコーディング・プロセッサまたは外部ビデオデコーディング・プロセッサと連繋して作動することにより、逆量子化、逆変換、予測／補償を含んだビデオ復元動作を遂行することができる。一実施形態によるマルチレイヤビデオ復号化装置２０の内部ビデオデコーディング・プロセッサは、別個のプロセッサでもあるが、ビデオ復号化装置、中央演算装置またはグラフィック演算装置がビデオデコーディング・プロセッシング・モジュールを含むことにより、基本的なビデオ復元動作を具現する場合も含んでもよい。

【0207】

一実施形態によるマルチレイヤビデオ符号化装置１０、及び一実施形態によるマルチレイヤビデオ復号化装置２０で、ビデオデータが分割されるブロックが、ツリー構造の符号化単位に分割され、符号化単位に対するインターレイヤ予測またはインター予測のために、符号化単位、予測単位、変換単位が利用される場合があるということは、前述のところの通りである。以下、図８ないし図２０を参照し、一実施形態によるツリー構造の符号化単位及び変換単位に基づいたビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置を開示する。

【0208】

原則的に、マルチレイヤビデオのための符号化／復号化過程において、基本レイヤ映像のための符号化／復号化過程と、向上レイヤ映像のための符号化／復号化過程とが別途に遂行される。すなわち、マルチレイヤビデオにおいて、インターレイヤ予測が発生する場合には、シングルレイヤビデオの符号化／復号化結果が相互参照されるが、シンググレイヤビデオごとに、別途の符号化／復号化過程が発生する。

【0209】

従って、説明の便宜のために、図８ないし図２０を参照して説明するツリー構造の符号化単位に基づいたビデオ符号化過程及びビデオ復号化過程は、シングルレイヤビデオに対するビデオ符号化過程及びビデオ復号化過程であるので、インター予測及び動き補償について詳細に説明する。しかし、図１Ａないし図７Ｂを参照して説明したように、マルチレイヤビデオ符号化／復号化のために、基本視点映像と向上レイヤ映像とのインターレイヤ予測及び補償が行われもする。

【0210】

従って、一実施形態によるマルチレイヤビデオ符号化装置１０がツリー構造の符号化単位に基に、マルチレイヤビデオを符号化するためには、それぞれのシングルレイヤビデオごとに、ビデオ符号化を行うために、図８のビデオ符号化装置１００をマルチレイヤビデオのレイヤ個数ほど含め、各ビデオ符号化装置１００ごとに割り当てられたシングルレイヤビデオの符号化を行うように制御することができる。また、マルチレイヤビデオ符号化装置１０は、各ビデオ符号化装置１００の別個単一視点の符号化結果を利用して、視点間予測を行うことができる。それにより、マルチレイヤビデオ符号化装置１０は、レイヤ別に、符号化結果を収録した基本視点映像ストリームと、向上レイヤ映像ストリームとを生成することができる。

【0211】

それと同様に、一実施形態によるマルチレイヤビデオ復号化装置２０が、ツリー構造の符号化単位に基に、マルチレイヤビデオを復号化するためには、受信した基本レイヤ映像ストリーム及び向上レイヤ映像ストリームに対して、レイヤ別に、ビデオ復号化を行うために、図９のビデオ復号化装置２００を、マルチレイヤビデオのレイヤ個数ほど含め、各ビデオ復号化装置２００ごとに割り当てられたシングルレイヤビデオの復号化を行うように制御することができる。そして、マルチレイヤビデオ復号化装置２０が各ビデオ復号化装置２００の別個シングルレイヤの復号化結果を利用して、インターレイヤ補償を行うことができる。それにより、マルチレイヤビデオ復号化装置２０は、レイヤ別に復元された基本レイヤ映像及び向上レイヤ映像を生成することができる。

【0212】

図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置１００のブロック図を図示している。

【0213】

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」に縮約して称する。

【0214】

符号化単位決定部１２０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。

【0215】

一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。

【0216】

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって階層的に分類される。

【0217】

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。

【0218】

符号化単位決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

【0219】

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

【0220】

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位としても、それぞれのデータに対する符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

【0221】

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に対する符号化深度は、他の領域に対する符号化深度と独立して決定される。

【0222】

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は１に設定され、２回分割された符号化単位の深度は２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定される。

【0223】

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

【0224】

最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。

【0225】

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されてもよい。

【0226】

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

【0227】

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と呼ぶ。予測単位が分割されたパーティションは、予測単位、及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同サイズのパーティションでもある。

【0228】

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

【0229】

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

【0230】

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

【0231】

一実施形態による、ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。

【0232】

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に、変換単位の大きさがＮｘＮであるならば、変換深度１に、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

【0233】

符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

【0234】

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図１０ないし図２０を参照して詳細に説明する。

【0235】

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

【0236】

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態で出力する。

【0237】

符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。

【0238】

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。

【0239】

符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

【0240】

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

【0241】

１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

【0242】

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

【0243】

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

【0244】

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

【0245】

ピクチャ、スライスまたはＧＯＰ（group of picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。

【0246】

また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、予測と係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。

【0247】

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。

【0248】

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

【0249】

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。

【0250】

図１Ａを参照して説明したマルチレイヤビデオ符号化装置１０は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置１００を含んでもよい。例えば、基本レイヤ符号化部１２が、１つのビデオ符号化装置１００を含み、向上レイヤ符号化部１４が、向上レイヤの個数ほどのビデオ符号化装置１００を含んでもよい。

【0251】

ビデオ符号化装置１００が、基本レイヤ映像を符号化する場合、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に、映像間予測のための予測単位を決定し、予測単位ごとに、映像間予測を行うことができる。

【0252】

ビデオ符号化装置１００が、向上レイヤ映像を符号化する場合にも、符号化単位決定部１２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとに、インター予測を行うことができる。

【0253】

符号化単位決定部１２０が、基本レイヤ映像を符号化する場合には、ランダムアクセスが可能なＲＰＡ映像を指定し、基本レイヤＲＰＡ映像に対して、イントラ予測を行うことができる。ランダムアクセスやレイヤ変換が発生する場合には、以前復元映像がないとしても、ＲＰＡ映像を復元することができる。

【0254】

符号化単位決定部１２０が向上レイヤストリームを符号化する場合には、基本レイヤストリームのＲＰＡ映像に対応する位置で、基本レイヤＲＡＰ映像と同一のＲＰＡタイプのＲＰＡ映像を符号化することができる。符号化単位決定部１２０は、向上レイヤＲＰＡ映像に対して、イントラ予測を行うことができる。

【0255】

符号化単位決定部１２０は、ＲＰＡ映像と異なる非ＲＰＡ映像のうち少なくとも一つを参照し、非ＲＰＡ映像に対するインター予測を行うことができる。基本レイヤのＲＡＳＬ映像に対応する位置の向上レイヤ映像も、ＲＡＳＬ映像であり、後に続くＲＰＡ映像と、先行するＲＰＡ映像とを参照することができる。基本レイヤストリームのＲＡＤＬ映像に対応する位置の向上レイヤ映像も、ＲＡＤＬ映像であり、後に続くＲＰＡ映像だけ参照することができる。基本レイヤノーマル映像に対応する向上レイヤ映像は、ＣＲＡ映像、ＲＡＤＬ／ＲＡＳＬ映像またはノーマル映像として符号化される。

【0256】

図９は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置２００のブロック図を図示している。

【0257】

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約して称する。

【0258】

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図８及びビデオ符号化装置１００を参照して説明したところと同一である。

【0259】

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

【0260】

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０をして、最大符号化単位ごとに、映像データを復号化させる。

【0261】

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出される。

【0262】

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

【0263】

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。

【0264】

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

【0265】

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

【0266】

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

【0267】

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。

【0268】

すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって同一の符号化モードで復号化する１つのデータ単位と見なされる。そのように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

【0269】

図１Ａを参照して説明したマルチレイヤビデオ符号化装置１０は、マルチレイヤビデオのレイヤごとに、インター予測のための参照映像を生成するために、ビデオ復号化装置２００において、映像データ復号化部２３０をレイヤ個数ほど含んでもよい。例えば、基本レイヤ符号化部１２が、１つの映像データ復号化部２３０を含み、向上レイヤ符号化部１４が、向上レイヤの個数ほどのビデオ復号化装置２００を含んでもよい。

【0270】

また、図２Ａ及び図３を参照して説明したマルチレイヤビデオ復号化装置２０は、受信された基本レイヤ映像ストリーム及び向上レイヤ映像ストリームを復号化し、基本レイヤ映像及び向上レイヤ映像を復元するために、ビデオ復号化装置２００を視点個数ほど含んでもよい。例えば、基本レイヤ復号化部２２が、１つのビデオ復号化装置２００を含み、向上レイヤ復号化部２４が、向上レイヤの個数ほどのビデオ復号化装置２００を含んでもよい。

【0271】

基本レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、基本レイヤ映像ストリームから抽出された基本レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、基本レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、基本レイヤ映像を復元することができる。

【0272】

向上レイヤ映像ストリームが受信された場合には、ビデオ復号化装置２００の映像データ復号化部２３０は、抽出部２２０によって、向上レイヤ映像ストリームから抽出された向上レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部２３０は、向上レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、向上レイヤ映像を復元することができる。

【0273】

映像データ復号化部２３０が基本レイヤストリームを復号化する場合には、ナルユニットタイプに基づいて、ＲＰＡ映像を復元することができる。ランダムアクセスやレイヤ変換が発生する場合には、以前復元映像がないとしても、ＲＰＡ映像を復元することができる。

【0274】

映像データ復号化部２３０が向上レイヤストリームを復号化する場合には、基本レイヤストリームのＲＰＡ映像に対応する位置で、基本レイヤＲＡＰ映像と同一のＲＰＡタイプのＲＰＡ映像を復元することができる。映像データ復号化部２３０は、向上レイヤＲＰＡ映像に対して、イントラ予測を行うことができる。

【0275】

映像データ復号化部２３０は、ＲＰＡ映像と異なる非ＲＰＡ映像のうち少なくとも一つを参照し、非ＲＰＡ映像に対する動き補償を行うことができる。基本レイヤのＲＡＳＬ映像に対応する位置の向上レイヤ映像も、ＲＡＳＬ映像であり、後に続くＲＰＡ映像と、先行するＲＰＡ映像とを参照することができる。基本レイヤストリームのＲＡＤＬ映像に対応する位置の向上レイヤ映像も、ＲＡＤＬ映像であり、後に続くＲＰＡ映像だけ参照することができる。基本レイヤノーマル映像に対応する向上レイヤ映像は、ＣＲＡ映像、ＲＡＤＬ／ＲＡＳＬ映像またはノーマル映像として復元される。

【0276】

結局、ビデオ復号化装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

【0277】

従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

【0278】

図１０は、本発明の一実施形態による符号化単位の概念を図示している。

【0279】

符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

【0280】

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

【0281】

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

【0282】

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

【0283】

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

【0284】

図１１は、本発明の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。

【0285】

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

【0286】

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びオフセット調整部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

【0287】

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素である、イントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びオフセット調整部４９０が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。

【0288】

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

【0289】

映像符号化部４００が、向上レイヤストリームを生成する場合には、基本レイヤストリームのＲＰＡ映像に対応する位置の向上レイヤ映像を、同種のＲＰＡ映像に指定することができる。イントラ予測部４１０は、ＲＰＡ映像に対して、イントラ予測を行うことができる。

【0290】

動き推定部４２０は、ＲＰＡ映像と異なる非ＲＰＡ映像のうち少なくとも一つを参照し、非ＲＰＡ映像に対するインター予測を行うことができる。動き補償部４２５は、ＲＰＡ映像と異なる非ＲＰＡ映像のうち少なくとも一つを参照し、非ＲＰＡ映像に対する動き補償を行うことができる。基本レイヤのＲＡＳＬ映像に対応する位置の向上レイヤ映像も、ＲＡＳＬ映像であり、後に続くＲＰＡ映像と、先行するＲＰＡ映像とを参照することができる。基本レイヤストリームのＲＡＤＬ映像に対応する位置の向上レイヤ映像、もＲＡＤＬ映像であり、後に続くＲＰＡ映像だけ参照することができる。基本レイヤノーマル映像に対応する向上レイヤ映像は、ＣＲＡ映像、ＲＡＤＬ／ＲＡＳＬ映像またはノーマル映像として符号化／復号化される。

【0291】

図１２は、本発明の一実施形態による、符号化単位に基づいた映像復号化部５００のブロック図を図示している。
ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

【0292】

空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して、動き補償を行う。

【0293】

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びオフセット調整部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びオフセット調整部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。

【0294】

ビデオ復号化装置２００の映像データ復号化部２３０において、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が行われる。

【0295】

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素である、パージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びオフセット調整部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。

【0296】

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

【0297】

映像復号化部５００が向上レイヤストリームを復号化する場合には、基本レイヤストリームのＲＰＡ映像に対応する位置で、基本レイヤＲＡＰ映像と同一のＲＰＡタイプのＲＰＡ映像を復元することができる。イントラ予測部５５０は、向上レイヤＲＰＡ映像に対して、イントラ予測を行うことができる。

【0298】

動き補償部５６０は、ＲＰＡ映像と異なる非ＲＰＡ映像のうち少なくとも一つを参照し、非ＲＰＡ映像に対する動き補償を行うことができる。基本レイヤのＲＡＳＬ映像に対応する位置の向上レイヤ映像も、ＲＡＳＬ映像であり、後に続くＲＰＡ映像と、先行するＲＰＡ映像とを参照することができる。基本レイヤストリームのＲＡＤＬ映像に対応する位置の向上レイヤ映像も、ＲＡＤＬ映像であり、後に続くＲＰＡ映像だけ参照することができる。基本レイヤノーマル映像に対応する向上レイヤ映像は、ＣＲＡ映像、ＲＡＤＬ／ＲＡＳＬ映像またはノーマル映像として復元される。

【0299】

図１３は、本発明の一実施形態による、深度別符号化単位及びパーティションを図示している。

【0300】

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

【0301】

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基礎になる予測単位及びパーティションが図示されている。

【0302】

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０が存在する。サイズ８ｘ８である深度３の符号化単位６４０は、最小符号化単位である。

【0303】

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

【0304】

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

【0305】

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

【0306】

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

【0307】

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。

【0308】

同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

【0309】

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。

【0310】

図１４は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。

【0311】

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で、映像を符号化／復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。

【0312】

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

【0313】

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

【0314】

図１５は、本発明の一実施形態による深度別符号化情報を図示している。

【0315】

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに対する情報８２０を符号化して伝送することができる。

【0316】

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

【0317】

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

【0318】

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

【0319】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化に利用することができる。

【0320】

図１６は、本発明の一実施形態による深度別符号化単位を図示している。

【0321】

深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。

【0322】

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

【0323】

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

【0324】

サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０のパーティションタイプ９１４、及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。

【0325】

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。

【0326】

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

【0327】

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。

【0328】

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

【0329】

パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

【0330】

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。

【0331】

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。そのような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードと設定される。

【0332】

そのように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

【0333】

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用される。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度と把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

【0334】

図１７、図１８及び図１９は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。

【0335】

符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

【0336】

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

【0337】

予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

【0338】

変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。

【0339】

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。

【0340】

【表1】

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

【0341】

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

【0342】

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

【0343】

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

【0344】

変換単位サイズは、イントラモードで２種の大きさ、インターモードで２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

【0345】

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

【0346】

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

【0347】

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

【0348】

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されてもよい。

【0349】

図２０は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

【0350】

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

【0351】

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

【0352】

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

【0353】

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

【0354】

図２０を参照して説明した変換単位分割情報（ＴＵ size flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報は、１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加し、変換単位が階層的に分割されてもよい。変換単位分割情報は、変換インデックスの一実施形態として利用される。

【0355】

その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳ（sequence parameter set）に挿入される。一実施形態によるビデオ復号化装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。

【0356】

例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。

【0357】

他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさは、３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されるものではない。

【0358】

さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されるものではない。

【0359】

従って、最大変換単位分割情報を「MaxTransformSizeIndex」、最小変換単位サイズを「MinTransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のようにされる。

【0360】

CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex）） （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さな値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。

【0361】

一実施形態による最大変換単位サイズ「RootTuSize」は予測モードによって変わることもできる。
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）で、「MaxTransformSize」は、最大変換単位サイズ、「PUSize」は、現在予測単位サイズを示す。

【0362】

「RootTuSize」＝ｍｉｎ（MaxTransformSize，PUSize） （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さな値に設定される。

【0363】

現在パーティション単位の予測モードが予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。

【0364】

RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize） （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さな値に設定される。

【0365】

ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないことに留意しなければならない。

【0366】

図８ないし図２０を参照して説明した、ツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。

【0367】

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc））のような記録媒体を含む。

【0368】

説明の便宜のために、前述の図１Ａないし図２０を参照して説明したマルチレイヤビデオ予測方法、マルチレイヤビデオ復号化方法によるビデオ符号化方法は、「本発明のビデオ符号化方法」とする。また、前述の図１Ａないし図２０を参照して説明したマルチレイヤビデオ復号化方法によるビデオ復号化方法は、「本発明のビデオ復号化方法」とする
また、前述の図１Ａないし図２０を参照して説明したマルチレイヤビデオ符号化装置１０、マルチレイヤビデオ復号化装置２０、ビデオ符号化装置１００、または映像符号化部４００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」とする。また、前述の図１Ａないし図２０を参照して説明したマルチレイヤビデオ復号化装置２０、ビデオ復号化装置２００、または映像復号化部５００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」とする。

【0369】

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。

【0370】

図２１は、一実施形態による、プログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルレイ（登録商標（Blu-ray））ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒで構成され、トラックは、円周方向に沿って所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００において特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

【0371】

前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照し、以下で説明する。

【0372】

図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータ・システム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムを、コンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムが、コンピュータシステム２６７００に伝送される。

【0373】

図２１及び図２２で例示されたディスク２６０００だけでなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。

【0374】

前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。

【0375】

図２３は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設置される。

【0376】

コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal digital assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００、及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。

【0377】

しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結されてもよい。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ずに、通信網１１４００に直接連結されてもよい。

【0378】

ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ（personal digital communications）方式、ＣＤＭＡ（code division multiple access）方式、Ｗ−ＣＤＭＡ（wideband code division multiple access）方式、ＧＳＭ（登録商標（global system for mobile communications））方式、及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち、少なくとも１つの通信方式を採択することができる。

【0379】

ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送を行うことができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００に撮影されたビデオデータは、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。

【0380】

カメラ１２６００に撮影されたビデオデータも、コンピュータ１２１００を経て、ストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。

【0381】

また，携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。

【0382】

ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

【0383】

一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザが、ビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータについてストリーミング伝送を行うことができる。

【0384】

クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムで復号化して再生させ、個人放送（personal broadcasting）を可能にする。

【0385】

コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

【0386】

図２４及び図２５を参照し、コンテンツ供給システム１１０００において、携帯電話１２５００の一実施形態について詳細に説明する。

【0387】

図２４は、一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。

【0388】

携帯電話１２５００は、無線基地局１２０００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１０を含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１０は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）でもって受信されたり、あるいは他の形態で獲得されたりするビデオや静止映像のように、符号化されたり復号化されたりするデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

【0389】

図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer／demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation／demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して、中央制御部１２７１０に連結される。

【0390】

ユーザが電源ボタンを動作させ、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから、携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。

【0391】

中央制御部１２７１０は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

【0392】

携帯電話１２５００が外部に通信データを送信する過程では、中央制御部１２７１０の制御によって、携帯電話１２５００でデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、映像符号化部１２７２０では、デジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital−analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。

【0393】

例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て、送信信号に変換され、アンテナ１２５１０を介して送出される。

【0394】

データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４０を介して、中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。

【0395】

データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０で直ちにディスプレイされる。

【0396】

映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。

【0397】

多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して、送信信号に変換され、アンテナ１２５１０を介して送出される。

【0398】

携帯電話１２５００が、外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency recovery）及びＡ／Ｄ変換（analog−digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。

【0399】

携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog−digital conversion）処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。

【0400】

データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して、無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。

【0401】

アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。

【0402】

映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２を経て、ディスプレイ画面１２５２に、復元されたビデオデータを提供することができる。

【0403】

それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２でディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。

【0404】

携帯電話１２５０、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、本発明のビデオ復号化装置のみを含む受信端末機でもある。

【0405】

本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２６は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。

【0406】

具体的に説明すれば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-topbox）１２８７０または他のデバイスによって、復号化されて再生される。

【0407】

再生装置１２８３０で、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。

【0408】

衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。

【0409】

他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に、本発明のビデオ復号化装置が搭載されてもよい。

【0410】

適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００（図２３）から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に、復号化されたビデオが再生される。

【0411】

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に説明すれば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によってハードディスクに映像信号が保存される。他の例として、ビデオ信号はＳ、Ｄカード１２９７０に保存されてもよい。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８０で再生される。

【0412】

自動車ナビゲーションシステム１２９３０は、図２６のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００及びＴＶ受信機１２８１０も、図２６のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。

【0413】

図２７は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティング・システムのネットワーク構造を図示している。

【0414】

本発明のクラウドコンピューティング・システムは、クラウドコンピューティングサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなってもよい。

【0415】

クラウドコンピューティング・システムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューティング環境で、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点で所望するほど選んで使用することができる。

【0416】

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューティングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューティングサーバ１４１００から、クラウドコンピューティングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３００、スマートＴＶ １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable multimedia player）１４７００、テブレットＰＣ １４８００など、インターネット接続が可能な全ての電子機器にもなる。

【0417】

クラウドコンピューティングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合してユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。そのように、クラウドコンピューティングサーバ１４１００は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

【0418】

ユーザＤＢ １４１００には、クラウドコンピューティングサービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報や、住所、名前など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含んでもよい。

【0419】

ユーザＤＢ １４１００に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ １４１００に所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から同一の動画サービスの再生要請が受信される場合、クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００を参照し、所定動画サービスを探して再生する。スマートフォン１４５００が、クラウドコンピューティングサーバ１４１００を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、前述の図２４を参照して説明した携帯電話１２５００の動作と類似している。

【0420】

クラウドコンピューティングサーバ１４１００は、ユーザＤＢ １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ １４１００に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであるならば、クラウドコンピューティングサーバ１４１００は、ユーザ端末機への選択によって、最初から再生するか、あるいは以前の停止時点から再生するかということによって、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画について、最初のフレームからストリーミング伝送を行う。一方、端末機が、以前停止時点から引き続いて再生するように要請した場合には、クラウドコンピューティングサーバ１４１００は、ユーザ端末機に、当該動画について、停止時点のフレームからストリーミング伝送を行う。

【0421】

そのとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。

【0422】

図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２１ないし図２７において説明した。しかし、図１Ａないし図２０を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が、記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現されたりする多様な実施形態は、図２１ないし図２７の実施形態に限定されるものではない。

【0423】

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性を外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

【図1A】

【図1B】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】