特許 6166380 ビデオエンコーディング方法及びビデオデコーディング方法、並びにそれを利用する装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6166380

(24)【登録日】2017年6月30日

(45)【発行日】2017年7月19日

(54)【発明の名称】ビデオエンコーディング方法及びビデオデコーディング方法、並びにそれを利用する装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170710BHJP

   H04N 19/30 20140101ALI20170710BHJP

   H04N 19/50 20140101ALI20170710BHJP

【ＦＩ】

   H04N19/70

   H04N19/30

   H04N19/50

【請求項の数】12

【全頁数】50

(21)【出願番号】特願2015-547864(P2015-547864)

(86)(22)【出願日】2013年12月16日

(65)【公表番号】特表2016-504859(P2016-504859A)

(43)【公表日】2016年2月12日

(86)【国際出願番号】KR2013011671

(87)【国際公開番号】WO2014092515

(87)【国際公開日】20140619

【審査請求日】2015年6月11日

(31)【優先権主張番号】61/737,112

(32)【優先日】2012年12月14日

(33)【優先権主張国】US

(31)【優先権主張番号】61/749,401

(32)【優先日】2013年1月7日

(33)【優先権主張国】US

(31)【優先権主張番号】61/753,879

(32)【優先日】2013年1月17日

(33)【優先権主張国】US

(31)【優先権主張番号】61/803,084

(32)【優先日】2013年3月18日

(33)【優先権主張国】US

(31)【優先権主張番号】61/804,592

(32)【優先日】2013年3月22日

(33)【優先権主張国】US

(31)【優先権主張番号】61/810,232

(32)【優先日】2013年4月9日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

(72)【発明者】

【氏名】パク チュンヨン

(72)【発明者】

【氏名】キム チュルクン

(72)【発明者】

【氏名】ジョン ピョンムン

(72)【発明者】

【氏名】キム チョンスン

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２００９−５３８０８４（ＪＰ，Ａ）

【文献】 国際公開第２００８／０３００６７（ＷＯ，Ａ１）

【文献】 特表２００９−５１２３０６（ＪＰ，Ａ）

【文献】 Do-Kyoung Kwon,Madhukar Budagavi,Minhua Zhou，Hierarchcal inter-layer prediction in multi-loop scalable extention of HEVC，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting:Shanghai,CN,10-19 Oct.2012，米国，JCTVC，２０１２年１０月 ２日，JCTVC-K0264，P.1-P.7，ＵＲＬ，http://phenix.it-sudparis.eu/jct/index.php

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

スライスセグメントヘッダを介して、参照レイヤのピクチャがインターレイヤ予測に利用されないかを指示する参照情報を受信するステップと、
前記参照情報に基づいて前記参照レイヤのピクチャを復号して格納するステップと、
前記参照レイヤの前記復号されたピクチャの少なくとも一つからインターレイヤ参照ピクチャを含むインターレイヤ参照ピクチャセットを誘導するステップと、
前記インターレイヤ参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストに基づいて現在レイヤの現在ブロックの予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックのレジデュアルサンプルに基づいて前記現在ブロックの復元サンプルを誘導するステップとを含み、
前記ピクチャのすべてのスライスセグメントヘッダにおいて、前記参照情報の値は同一に設定される、ビデオデコーディング方法。

【請求項2】

前記参照レイヤの前記ピクチャは前記インターレイヤ予測に利用されないことを前記参照情報が指示する場合、前記ピクチャは前記インターレイヤ参照ピクチャセットに含まれない、請求項１に記載の方法。

【請求項3】

前記参照情報は、０及び１の値の一つを示すフラグ情報を含み、前記フラグ情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用されないかを指示する、請求項１に記載の方法。

【請求項4】

前記インターレイヤ予測のために前記参照レイヤの前記ピクチャが利用されないことを前記参照情報が指示する場合、前記参照レイヤの前記ピクチャは、参照されないとマークされる、請求項１に記載の方法。

【請求項5】

前記インターレイヤ予測のために前記参照レイヤの前記ピクチャが利用されないことを前記参照情報が指示する場合、前記ピクチャの復号は、前記現在レイヤの他のピクチャの復号に影響することなく無視又はスキップされ得る、請求項１に記載の方法。

【請求項6】

前記参照レイヤのピクチャのうち、インターレイヤ予測に利用される前記参照情報によって指示されるピクチャに基づいて前記インターレイヤ参照ピクチャが誘導される、請求項１に記載の方法。

【請求項7】

前記インターレイヤ予測に利用されない前記参照情報によって指示される前記参照レイヤの前記ピクチャは参照されないとマークされ、参照されないとマークされないピクチャから前記インターレイヤ参照ピクチャが誘導される、請求項６に記載の方法。

【請求項8】

参照レイヤのピクチャを復号して格納するステップと、
前記参照レイヤの前記復号されたピクチャの少なくとも一つからインターレイヤ参照ピクチャを含むインターレイヤ参照ピクチャセットを誘導するステップと、
前記インターレイヤ参照ピクチャを含む参照ピクチャリストを構成するステップと、
前記参照ピクチャリストに基づいて現在レイヤの現在ブロックの予測サンプルを誘導するステップと、
前記予測サンプルと前記現在ブロックの予測ブロックに基づいて前記現在ブロックの復元サンプルを誘導するステップと、
スライスセグメントヘッダを介して、前記参照レイヤのピクチャのうち、インターレイヤ予測に利用されない前記参照レイヤのピクチャを指示する参照情報を送信するステップと、を含み、
前記ピクチャのすべてのスライスセグメントヘッダにおいて、前記参照情報の値は同一に設定される、ビデオエンコーディング方法。

【請求項9】

前記参照レイヤの前記ピクチャは前記インターレイヤ予測に利用されないことを前記参照情報が指示する場合、前記ピクチャは前記インターレイヤ参照ピクチャセットに含まれない、請求項８に記載の方法。

【請求項10】

前記参照情報は、０及び１の値の一つを示すフラグ情報を含み、前記フラグ情報は、前記参照レイヤの前記ピクチャがインターレイヤ予測に利用されないかを指示する、請求項８に記載の方法。

【請求項11】

前記参照レイヤの前記ピクチャが前記現在ブロックの予測に参照されず、前記現在ブロックの予測に参照される前記参照レイヤの他のピクチャの予測に参照されない場合、前記参照レイヤの前記ピクチャは参照されないとマークされ、前記参照情報は、前記現在ブロックの予測に参照されず、前記現在ブロックの予測に参照される前記参照レイヤの他のピクチャの予測に参照されない前記ピクチャを特定する情報を含む、請求項８に記載の方法。

【請求項12】

前記インターレイヤ予測のために前記参照レイヤの前記ピクチャが利用されないことを前記参照情報が指示する場合、前記ピクチャの復号は、前記現在レイヤの他のピクチャの復号に影響することなく無視又はスキップされ得る、請求項８に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ符号化及び復号化に関し、より具体的には、マルチレイヤ構造において、他のレイヤの情報に基づいて現在レイヤの符号化／復号化対象ピクチャを復元する方法及び装置に関する。

【背景技術】

【0002】

最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。

【0003】

情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツを多様な品質で利用可能になった。

【0004】

具体的に、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用するが、他の環境ではより高い品質の映像が利用可能になる。

【0005】

例えば、携帯端末でビデオコンテンツを購買した消費者が、ホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面とより高い解像度で鑑賞可能になる。

【0006】

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度の放送がサービスされながら、多くのユーザは、既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)のサービスにも関心を寄せている。

【0007】

したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率のエンコーディング/デコーディング方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。また、このようなスケーラビリティに伴われる多様な映像処理方法が論議されなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、効果的なインターレイヤ予測が実行されるための方法及び装置を提供することを目的とする。

【0009】

本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャに対する選別的な処理が実行されることができるようにする方法及び装置を提供することを目的とする。

【0010】

本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャのうち、現在レイヤで参照可能なピクチャを特定することができる方法及び装置を提供することを目的とする。

【0011】

本発明は、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、特定された参照レイヤのピクチャに基づいてインターレイヤ予測を効果的に実行することができる方法及び装置を提供することを目的とする。

【課題を解決するための手段】

【0012】

本発明の一実施形態は、マルチレイヤ構造におけるスケーラブルビデオエンコーディング方法であって、参照レイヤのピクチャを復号化して格納するステップと、前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、前記参照ピクチャリストを前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、前記予測サンプルと前記現在ブロックに対する予測ブロックに基づいて前記現在ブロックに対する復元サンプルを誘導するステップと、前記参照レイヤのピクチャのうち、インターレイヤの予測に利用することができるピクチャを指示する参照情報を送信するステップとを含む。

【0013】

本発明の他の実施形態は、マルチレイヤ構造におけるスケーラブルビデオデコーディング方法であって、参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信するステップと、前記参照情報に基づいて前記参照レイヤのピクチャを復号化して格納するステップと、前記参照情報に基づいて前記参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導するステップと、前記インターレイヤ参照ピクチャ及び前記現在レイヤの参照ピクチャを含む参照ピクチャリストを構成するステップと、前記参照ピクチャリストに基づいて前記現在レイヤの現在ブロックに対する予測を実行することで前記現在ブロックに対する予測サンプルを誘導するステップと、前記予測サンプルと前記現在ブロックに対するレジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを誘導するステップとを含む。

【発明の効果】

【0014】

本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、効果的なインターレイヤ予測を実行することができる。

【0015】

本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャに対する選別的な処理を実行することができる。

【0016】

本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、参照レイヤのピクチャのうち、現在レイヤで参照可能なピクチャを特定することができる。

【0017】

本発明によると、マルチレイヤ構造のスケーラブルビデオコーディングで、インターレイヤ予測のために、特定された参照レイヤのピクチャに基づいてインターレイヤ予測を効果的に実行することができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。

【図2】本発明によってスケーラブルコーディングを実行するエンコーディング装置でのインターレイヤ予測に対する一例を説明するブロック図である。

【図3】本発明が適用されることができる二つの空間的(ｓｐａｔｉａｌ)レイヤシーケンス構造の一例を概略的に説明する図面である。

【図4】本実施例に対して概略的に説明する図面であり、デコーディング装置に伝達する必要がない、またはデコーディングされる必要がないコーディングされたピクチャを除去する方法の一例を示す。

【図5】メモリ管理の一例に対して概略的に説明する図面である。

【図6】本発明によるメモリ管理の一例を概略的に説明する図面である。

【図7】図６の例において、デコーディング過程に必要でないピクチャを除外した状況を概略的に説明する図面である。

【図8】各ピクチャのデコーディング過程でコンテンツ/メモリ状態／ＤＰＢ状態に対する一例を概略的に説明する図面である。

【図9】本発明によるビデオエンコーディング装置の動作に対する一例を概略的に説明する流れ図である。

【図10】本発明によるビデオデコーディング装置の動作に対する一例を概略的に説明する流れ図である。

【発明を実施するための形態】

【0019】

本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものの存在または付加可能性を予め排除しないと理解しなければならない。

【0020】

一方、本発明で説明される図面上の各構成は、ビデオエンコーディング装置／デコーディング装置において、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も、本発明の本質から外れない限り本発明の権利範囲に含まれる。

【0021】

以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。

【0022】

スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」という)では入力信号をレイヤ別に処理することができる。レイヤによって、入力信号(入力映像)は、解像度(ｒｅｓｏｌｕｔｉｏｎ)、フレームレート(ｆｒａｍｅ ｒａｔｅ)、ビットデプス(ｂｉｔ−ｄｅｐｔｈ)、カラーフォーマット(ｃｏｌｏｒ ｆｏｒｍａｔ)、アスペクト率(ａｓｐｅｃｔ ｒａｔｉｏ)、ビュ(ｖｉｅｗ)のうち少なくとも一つが異なる。

【0023】

本明細書において、スケーラブルコーディングとは、スケーラブルエンコーディングとスケーラブルデコーディングを含む。

【0024】

スケーラブルエンコーディング／デコーディングではレイヤ間の差を利用して、即ち、スケーラビリティに基づいて、レイヤ間予測を実行することによって、情報の重複送信／処理を減らして圧縮効率を上げることができる。

【0025】

図１は、本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。

【0026】

図１の例では、説明の便宜のために、二つのレイヤで構成されたマルチレイヤ構造を例として説明する。しかし、本発明は、これに限定されるものではなく、本発明が適用されるマルチレイヤ構造は、二つ以上のレイヤを含むことができることに留意する。

【0027】

図１を参照すると、エンコーディング装置１００は、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含む。

【0028】

レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。

【0029】

レイヤ１のエンコーディング部１０５は、予測部１１０、変換／量子化部１１５、フィルタリング部１２０、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)１２５、エントロピーコーディング部１３０、及びＭＵＸ(Ｍｕｌｔｉｐｌｅｘｅｒ)１６５を含む。

【0030】

レイヤ０のエンコーディング部１３５は、予測部１４０、変換／量子化部１４５、フィルタリング部１５０、ＤＰＢ１５５及びエントロピーコーディング部１６０を含む。

【0031】

予測部１１０、１４０は、入力された映像に対してインター予測とイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよく、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよい。

【0032】

例えば、予測部１１０、１４０は、ＣＵ単位にインター予測を適用するか、またはイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位またはＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック(レジデュアル信号)の生成を含む。

【0033】

インター予測を介しては現在ピクチャの以前ピクチャ及び／または以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することで予測ブロックを生成することができる。イントラ予測を介しては現在ピクチャ内のピクセル情報に基づいて予測を実行することで予測ブロックを生成することができる。

【0034】

インター予測のモードまたは方法として、スキップ(ｓｋｉｐ)モード、マージ(ｍｅｒｇｅ)モード、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ)モード方法などがある。インター予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。

【0035】

予測ブロックは、整数サンプル単位に生成されることもでき、整数以下ピクセル単位に生成されることもできる。このとき、動きベクトルも整数ピクセル単位または整数ピクセル以下の単位に表現されることができる。

【0036】

インター予測において、動き情報、即ち、参照ピクチャのインデックス、動きベクトル、レジデュアル信号などの情報は、エントロピーエンコーディングされてデコーディング装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。

【0037】

イントラ予測において、予測モードは、３３個の方向性予測モードと少なくとも二つ以上の非方向性モードを有することができる。非向性性モードは、ＤＣ予測モード及びプレーナモード(Ｐｌａｎａｒモード)を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。

【0038】

ＰＵは、多様なサイズ／形態のブロックであり、例えば、インター予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、またはＮ×Ｎブロック(Ｎは整数)などである。イントラ予測の場合、ＰＵは、２Ｎ×２ＮブロックまたはＮ×Ｎブロック(Ｎは整数)などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小大きさＣＵに対してのみＮ×Ｎブロック大きさのＰＵを利用するように定め、またはイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロックまたはｍＮ×２Ｎブロック(ｍ<１)などのＰＵをさらに定義して使用することもできる。

【0039】

また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測という。

【0040】

他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。

【0041】

また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。

【0042】

インターレイヤ予測において、現在ブロックは、現在レイヤ(図１の例ではレイヤ１)内の現在ピクチャ内のブロックであって、符号化対象ブロックである。参照ブロックは、現在ブロックの予測に参照されるレイヤ(参照レイヤ、図１の例ではレイヤ０)で現在ブロックが属するピクチャ(現在ピクチャ)と同じアクセスユニット(ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ)に属するピクチャ(参照ピクチャ)内のブロックであって、現在ブロックに対応するブロックである。

【0043】

インターレイヤ予測の一例として、参照レイヤの動き情報を利用して現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によると、参照ブロックの動き情報を利用して現在ブロックの動き情報を予測することができる。

【0044】

インターレイヤ動き予測を適用する場合、予測部１１０は、参照レイヤの動き情報をスケーリングして利用することもできる。

【0045】

インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として使用することができる。このとき、予測部１１０は、参照ブロックのテクスチャをアップサンプリングによりスケーリングすることができる。

【0046】

インターレイヤ予測の他の例であるインターレイヤユニット情報予測では、参照レイヤのユニット(ＣＵ、ＰＵ及び／/またはＴＵ)情報を誘導して現在レイヤのユニット情報として使用し、または参照レイヤのユニット情報に基づいて現在レイヤのユニット情報を決定することができる。

【0047】

このとき、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び／またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。

【0048】

インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用し、または参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。

【0049】

インターレイヤ予測の他の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を実行することができる。

【0050】

インターレイヤ予測の他の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分を利用して現在ブロックに対する予測を実行することができる。

【0051】

インターレイヤ予測の他の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報を含むことができる。

【0052】

前述されたインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個が利用されることもできる。

【0053】

ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。

【0054】

例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。即ち、参照レイヤから誘導された参照ピクチャを現在ブロックのインター予測に参照可能な参照ピクチャに含ませることで、現在ブロックに対するインター予測を実行することもできる。

【0055】

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部１１０は、インターレイヤ参照ピクチャを利用して現在ブロックに対するインター予測を実行することができる。

【0056】

ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャである。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合は、サンプリング無しで参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして利用することができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャでサンプルの幅と高さが同じであり、参照レイヤのピクチャで左上端、右上端、左下端、右下端と、現在レイヤのピクチャで左上端、右上端、左下端、右下端との間のオフセットが０の場合、参照レイヤの復元されたピクチャを再びサンプリングせずに、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。

【0057】

また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャである。

【0058】

インターレイヤ参照ピクチャを参照ピクチャリストに含み、現在ブロックに対するインター予測を実行する場合、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で異なる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの次にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。

【0059】

ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使われる参照ピクチャリストまたはＢスライスのインター予測で１番目の参照ピクチャリストとして使われる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使われる２番目の参照ピクチャリストである。

【0060】

したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順に構成されることができる。

【0061】

このとき、Ｐスライス(ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大１個の動きベクトル及び参照ピクチャインデックスを利用してインター予測が実行されるスライスである。Ｂスライス(ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大二個の動きベクトル及び参照ピクチャインデックスを利用して予測が実行されるスライスである。これと関連して、Ｉスライス(ｉｎｔｒａ ｓｌｉｃｅ)は、イントラ予測のみが適用されたスライスである。

【0062】

スライスは、一つ以上のスライスセグメント(ｓｅｇｍｅｎｔ)のシーケンスである。スライスシーケンスは、独立(ｉｎｄｅｐｅｎｄｅｎｔ)スライスセグメントから始める。同じアクセスユニット内で次の独立スライスセグメントより先行する従属(ｄｅｐｅｎｄｅｎｔ)スライスセグメントが存在する場合、スライスは、スライスシーケンスが始められた独立スライスセグメント及び次の独立スライス前の従属スライスセグメントを含む。

【0063】

スライスセグメントは、タイルスキャンで連続的に整列(ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｏｒｄｅｒｅｄ)され、単一ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ)ユニットに含まれているコーディングツリーユニット(Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ：ＣＴＵ)またはコーディングツリーブロック(Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ：ＣＴＢ)のシーケンスである。コーディングツリーユニットは、クワッドツリー(Ｑｕａｄ−Ｔｒｅｅ)構造のコーディングユニットであって、最大大きさコーディングユニット(Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ：ＬＣＵ)である。本明細書では、発明の理解のために、コーディングツリーユニット、最大コーディングユニットを混用して説明することもある。

【0064】

スライスセグメント内で、スライスセグメントの１番目のコーディングツリーブロック(コーディングツリーユニット)または全てのコーディングツリーブロック(コーディングツリーユニット)に対するデータ要素を含む部分をスライスセグメントヘッドという。このとき、独立スライスセグメントのスライスセグメントヘッドをスライスヘッダという。

【0065】

スライスは、ＮＡＬユニットの送信単位である。例えば、ＮＡＬユニットは、スライスまたはスライスセグメントで構成することができる。

【0066】

また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を実行する場合、参照ピクチャリストは、複数のレイヤで誘導された複数のインターレイヤ参照ピクチャを含むことができる。

【0067】

複数のインターレイヤ参照ピクチャを含む場合、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１で交差配置することもできる。例えば、二つのインターレイヤ参照ピクチャ、即ち、インターレイヤ参照ピクチャＩＬＲＰｉとインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使われる参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの次に位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの次に位置することができる。

【0068】

この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順に構成することができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。

【0069】

また、二つのインターレイヤ参照ピクチャのうち、一つは、解像度に対するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャである。この場合、例えば、ＩＬＲＰｉが異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊが異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャの場合、ビュー(ｖｉｅｗ)を除外したスケーラビリティのみをサポートするスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成することができ、参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。

【0070】

一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみを利用することもでき、動き情報(動きベクトル)のみを利用することもでき、サンプル値と動き情報を両方とも利用することもできる。予測部１１０は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、エンコーディング装置から受信した情報によって、インターレイヤ参照ピクチャのサンプル値のみを利用し、またはインターレイヤ参照ピクチャの動き情報(動きベクトル)のみを利用し、またはインターレイヤ参照ピクチャのサンプル値と動き情報を両方とも利用することができる。

【0071】

インターレイヤ参照ピクチャのサンプル値のみを利用する場合、予測部１１０は、インターレイヤ参照ピクチャで動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー(ｖｉｅｗ)を考慮しないスケーラブルビデオコーディングの場合、インターレイヤ参照ピクチャを利用するインター予測(インターレイヤ予測)での動きベクトルは、固定値(例えば、０)に設定することができる。

【0072】

インターレイヤ参照ピクチャの動き情報のみを利用する場合、予測部１１０は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として使用することができる。また、予測部１１０は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして利用することもできる。

【0073】

インターレイヤ参照ピクチャのサンプルと動き情報を両方とも利用する場合、予測部１１０は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルとインターレイヤ参照ピクチャで特定される動き情報(動きベクトル)を現在ブロックの予測に利用することができる。

【0074】

エンコーディング装置は、インターレイヤ予測が適用される場合、参照ピクチャリストでインターレイヤ参照ピクチャを指示する参照インデックスをデコーディング装置に送信することができ、インターレイヤ参照ピクチャからどの情報(サンプル情報、動き情報またはサンプル情報と動き情報)を利用するかを特定する情報、即ち、二つのレイヤ間でインターレイヤ予測に対する依存性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)を特定する情報もデコーディング装置に送信することができる。

【0075】

変換／量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行することで、変換係数を生成し、変換係数を量子化することができる。

【0076】

変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット(ＴＵ)であり、クワッドツリー(ｑｕａｄｔ ｒｅｅ)構造を有することができる。

【0077】

変換/量子化部１１５、１４５は、レジデュアルブロックに適用された予測モードとブロックの大きさによって変換を実行することで、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックをＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換し、その他の場合は、レジデュアルブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換することができる。

【0078】

変換/量子化部１１５、１４５は、変換係数を量子化することで、量子化された変換係数を生成することができる。

【0079】

変換/量子化部１１５、１４５は、量子化された変換係数をエントロピーコーディング部１３０、１6０に伝達することができる。このとき、変換／量子化部１４５は、量子化された変換係数の２次元アレイを、所定のスキャン順序によって、１次元アレイに再整列してエントロピーコーディング部１３０、１6０に伝達することもできる。また、変換/量子化部１１５、１４５は、インター予測のために、レジデュアルと予測ブロックに基づいて生成された復元ブロックを変換/量子化せずに、フィルタリング部１２０、１５０に伝達することができる。

【0080】

一方、変換/量子化部１１５、１４５は、必要によって、変換を省略(ｓｋｉｐ)して量子化のみを実行し、または変換と量子化を両方とも省略することもできる。例えば、変換／量子化部１１５、１4５は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

【0081】

エントロピーコーディング部１３０、１６０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングには、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などのようなエンコーディング方法を使用することができる。

【0082】

フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)を復元されたピクチャに適用することができる。

【0083】

デブロッキングフィルタは、復元されたピクチャでブロック間の境界に発生した歪曲を除去することができる。ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット(Ｂａｎｄ Ｏｆｆｓｅｔ)、エッジオフセット(Ｅｄｇｅ Ｏｆｆｓｅｔ)などの形態に適用される。

【0084】

フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。

【0085】

ＤＰＢ１２５、１５５は、フィルタリング部１２０、１５０から復元ブロックまたは復元ピクチャの伝達を受けて格納することができる。ＤＰＢ１２５、１５５は、復元ブロックまたはピクチャを、インター予測を実行する予測部１１０、１４０に提供することができる。

【0086】

レイヤ０のエントロピーコーディング部１６０で出力される情報とレイヤ１のエントロピーコーディング部１３０で出力される情報は、ＭＵＸ１6５でマルチプレキシングされてビットストリームで出力されることができる。

【0087】

一方、ここでは、説明の便宜のために、レイヤ１のエンコーディング部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１のエンコーディング部１０５及びレイヤ０のエンコーディング部１３５とは別途の装置またはモジュールであってもよい。

【0088】

また、ここでは、二つのレイヤで構成されたマルチレイヤ構造でスケーラブルビデオコーディングが実行されることを説明したが、本発明は、これに限定されるものではない。例えば、図１のエンコーディング装置は、二つ以上のレイヤを含むマルチレイヤ構造にも適用することができる。Ｎ個のレイヤで構成されたマルチレイヤ構造に適用される場合、図１のレイヤ０とレイヤ１は、Ｎ個のレイヤのうち、参照関係を示す二つのレイヤである。

【0089】

このとき、エンコーディング装置は、二つのレイヤ間の参照関係を示す情報をデコーディング装置に送信することができる。例えば、二つのレイヤ間にインターレイヤ予測の依存関係が存在する場合、エンコーディング装置は、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]を送信することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]の値が１の場合、Ｌ番目のレイヤは、Ｍ番目のレイヤを参照して予測されることができる。

【0090】

図２は、本発明によってスケーラブルコーディングを実行するエンコーディング装置でのインターレイヤ予測に対する一例を説明するブロック図である。

【0091】

図２を参照すると、デコーディング装置２００は、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含む。

【0092】

レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。

【0093】

レイヤ１のデコーディング部２１０は、エントロピーデコーディング部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタリング部２４０、メモリを含むことができる。

【0094】

レイヤ０のデコーディング部２５０は、エントロピーデコーディング部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタリング部２８０、メモリ２８５を含むことができる。

【0095】

エンコーディング装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ２０５は、レイヤ別に情報をデマルチプレキシングして各レイヤ別デコーディング装置に伝達することができる。

【0096】

エントロピーデコーディング部２１５、２５５は、エンコーディング装置で使用したエントロピーコーディング方式に対応してエントロピーデコーディングを実行することができる。例えば、エンコーディング装置でＣＡＢＡＣが使われた場合、エントロピーデコーディング部２１５、２５５もＣＡＢＡＣを利用してエントロピーデコーディングを実行することができる。

【0097】

エントロピーデコーディング部２１５、２５５でデコーディングされた情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。

【0098】

再整列部２２０、２６０は、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングされたビットストリームの情報、即ち、量子化された変換係数をエンコーディング装置で再整列した方法に基づいて再整列することができる。

【0099】

例えば、再整列部２２０、２６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部２２０、２６０は、現在ブロック(変換ブロック)に適用された予測モード及び／または変換ブロックの大きさに基づいてスキャニングを実行することで、係数(量子化された変換係数)の２次元アレイを生成することができる。

【0100】

逆量子化部２２５、２６５は、エンコーディング装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することで、変換係数を生成することができる。

【0101】

逆変換部２３０、２７０は、変換係数に対してエンコーディング装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、エンコーディング装置で実行されたＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)及びＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)に対して逆ＤＣＴ及び/または逆ＤＳＴを実行することができる。

【0102】

エンコーディング装置において、ＤＣＴ及び／またはＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行されることができ、デコーディング装置の逆変換部２３０、２７０は、エンコーディング装置で実行された変換情報に基づいて逆変換を実行することができる。

【0103】

例えば、逆変換部２３０、２７０は、予測モード／ブロック大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。

【0104】

また、逆変換部２３０、２７０は、予測モード／ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＣＴのみを適用することもできる。

【0105】

逆変換部２３０、２７０は、変換係数または変換係数のブロックを逆変換してレジデュアルまたはレジデュアルブロックを生成することができる。

【0106】

また、逆変換部２３０、２７０は、必要によってまたはエンコーディング装置でエンコーディングされた方式によって、変換を省略(ｓｋｉｐ)することもできる。例えば、逆変換２３０、２７０は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

【0107】

予測部２３５、２７５は、エントロピーデコーディング部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前にデコーディングされたブロック及び／またはピクチャ情報に基づいて現在ブロックに対する予測ブロックを生成することができる。

【0108】

現在ブロックに対する予測モードがイントラ予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。

【0109】

現在ブロックに対する予測モードがインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャの以前ピクチャまたは以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインター予測を実行することができる。インター予測に必要な動き情報の一部または全部は、エンコーディング装置から受信した情報を確認し、これに対応して誘導することができる。

【0110】

インター予測のモードとしてスキップモードが適用される場合は、エンコーディング装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。

【0111】

一方、レイヤ１の予測部２３５は、レイヤ１内の情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤ(レイヤ０)の情報を利用してインターレイヤ予測を実行することもできる。

【0112】

他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。

【0113】

また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)のうち少なくとも一つである。

【0114】

インターレイヤ予測において、現在ブロックは、現在レイヤ(図２の例ではレイヤ１)内の現在ピクチャ内のブロックであって、復号化対象ブロックである。参照ブロックは、現在ブロックの予測に参照されるレイヤ(参照レイヤ、図２の例ではレイヤ０)で現在ブロックが属するピクチャ(現在ピクチャ)と同じアクセスユニット(ＡＵ：ａｃｃｅｓｓ Ｕｎｉｔ)に属するピクチャ(参照ピクチャ)内のブロックであって、現在ブロックに対応するブロックである。

【0115】

インターレイヤ予測の一例として、参照レイヤの動き情報を利用して現在レイヤの動き情報を予測するインターレイヤ動き予測がある。インターレイヤ動き予測によると、参照ブロックの動き情報を利用して現在ブロックの動き情報を予測することができる。

【0116】

インターレイヤ動き予測を適用する場合、予測部２３５は、参照レイヤの動き情報をスケーリングして利用することもできる。

【0117】

インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、復元された参照ブロックのテクスチャを現在ブロックに対する予測値として使用することができる。このとき、予測部２３５は、参照ブロックのテクスチャをアップサンプリングによりスケーリングすることができる。

【0118】

インターレイヤ予測の他の例であるインターレイヤユニット情報予測では、参照レイヤのユニット(ＣＵ、ＰＵ及び／またはＴＵ)情報を誘導して現在レイヤのユニット情報として使用し、または参照レイヤのユニット情報に基づいて現在レイヤのユニット情報を決定することができる。

【0119】

このとき、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び／またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。

【0120】

インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、参照レイヤの誘導されたパラメータを現在レイヤで再使用し、または参照レイヤで使用したパラメータに基づいて現在レイヤに対するパラメータを誘導することができる。

【0121】

インターレイヤ予測の他の例であるインターレイヤレジデュアル予測では、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在ブロックに対する予測を実行することができる。

【0122】

インターレイヤ予測の他の例であるインターレイヤ差分予測では、現在レイヤの復元ピクチャと参照レイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分を利用して現在ブロックに対する予測を実行することができる。

【0123】

インターレイヤ予測の他の例であるインターレイヤシンタックス予測では、参照レイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成することができる。このとき、参照される参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報を含むことができる。

【0124】

前述されたインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個を利用することもできる。

【0125】

ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測、インターレイヤレジデュアル予測、インターレイヤ差分予測、インターレイヤシンタックス予測などを説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。

【0126】

例えば、インターレイヤ予測を現在レイヤに対するインター予測の拡張として適用することもできる。即ち、参照レイヤから誘導された参照ピクチャを現在ブロックのインター予測に参照可能な参照ピクチャに含ませることで、現在ブロックに対するインター予測を実行することもできる。

【0127】

予測部２３５は、エンコーディング装置から受信した参照ピクチャインデックスまたは隣接ブロックから誘導した参照ピクチャインデックスが参照ピクチャリスト内でインターレイヤ参照ピクチャを指示する場合、インターレイヤ参照ピクチャを利用したインターレイヤ予測を実行することができる。例えば、予測部２３５は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、インターレイヤ参照ピクチャで動きベクトルにより特定される領域のサンプル値を現在ブロックに対する予測ブロックとして誘導することができる。

【0128】

この場合、インターレイヤ参照ピクチャは、現在ブロックに対する参照ピクチャリストに含まれることができる。予測部２３５は、インターレイヤ参照ピクチャを利用して現在ブロックに対するインター予測を実行することができる。

【0129】

ここで、インターレイヤ参照ピクチャは、参照レイヤの復元されたピクチャを現在レイヤに対応するようにサンプリングして構成された参照ピクチャである。したがって、参照レイヤの復元されたピクチャが現在レイヤのピクチャに対応する場合は、サンプリング無しで参照レイヤの復元されたピクチャをインターレイヤ参照ピクチャとして利用することができる。例えば、参照レイヤの復元されたピクチャと現在レイヤの復元されたピクチャでサンプルの幅と高さが同じであり、参照レイヤのピクチャで左上端、右上端、左下端、右下端と、現在レイヤのピクチャで左上端、右上端、左下端、右下端との間のオフセットが０の場合、参照レイヤの復元されたピクチャを再びサンプリングせずに、現在レイヤのインターレイヤ参照ピクチャとして使用することもできる。

【0130】

また、インターレイヤ参照ピクチャが誘導される参照レイヤの復元ピクチャは、符号化対象である現在ピクチャと同じＡＵに属するピクチャである。インターレイヤ参照ピクチャを参照ピクチャリストに含み、現在ブロックに対するインター予測を実行する場合、インターレイヤ参照ピクチャの参照ピクチャリスト内の位置は、参照ピクチャリストＬ０とＬ１で異なる。例えば、参照ピクチャリストＬ０では、現在ピクチャ以前の短期参照ピクチャの次にインターレイヤ参照ピクチャが位置することができ、参照ピクチャリストＬ１では、参照ピクチャリストの最後にインターレイヤ参照ピクチャが位置することもできる。

【0131】

ここで、参照ピクチャリストＬ０は、Ｐスライスのインター予測に使われる参照ピクチャリストまたはＢスライスのインター予測で１番目の参照ピクチャリストとして使われる参照ピクチャリストである。参照ピクチャリストＬ１は、Ｂスライスのインター予測に使われる２番目の参照ピクチャリストである。

【0132】

したがって、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成されることができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャの順に構成することができる。

【0133】

このとき、Ｐスライス(ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大１個の動きベクトル及び参照ピクチャインデックスを利用してインター予測を実行するスライスである。Ｂスライス(ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ)は、イントラ予測が実行され、または予測ブロック当たり最大二個の動きベクトル及び参照ピクチャインデックスを利用して予測が実行されるスライスである。これと関連して、Ｉスライス(ｉｎｔｒａ ｓｌｉｃｅ)は、イントラ予測のみが適用されたスライスである。

【0134】

また、インターレイヤ参照ピクチャを含む参照ピクチャリストに基づいて現在ブロックに対するインター予測を実行する場合、参照ピクチャリストは、複数のレイヤで誘導された複数のインターレイヤ参照ピクチャを含むことができる。

【0135】

複数のインターレイヤ参照ピクチャを含む場合、インターレイヤ参照ピクチャは、参照ピクチャリストＬ０とＬ１で交差配置されることもできる。例えば、二つのインターレイヤ参照ピクチャ、即ち、インターレイヤ参照ピクチャＩＬＲＰｉとインターレイヤ参照ピクチャＩＬＲＰｊが現在ブロックのインター予測に使われる参照ピクチャリストに含まれる場合を仮定する。この場合、参照ピクチャリストＬ０において、ＩＬＲＰｉは現在ピクチャ以前の短期参照ピクチャの次に位置し、ＩＬＲＰｊはリストの最後に位置することができる。また、参照ピクチャリストＬ１において、ＩＬＲＰｉはリストの最後に位置し、ＩＬＲＰｊは現在ピクチャ以後の短期参照ピクチャの次に位置することができる。

【0136】

この場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊの順に構成することができる。参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｊ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。

【0137】

また、二つのインターレイヤ参照ピクチャのうち、一つは、解像度に対するスケーラブルレイヤから誘導したインターレイヤ参照ピクチャであり、他の一つは、異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャである。この場合、例えば、ＩＬＲＰｉが異なる解像度を提供するレイヤから誘導したインターレイヤ参照ピクチャであり、ＩＬＲＰｊが異なるビューを提供するレイヤから誘導したインターレイヤ参照ピクチャの場合、ビュー(ｖｉｅｗ)を除外したスケーラビリティのみをサポートするスケーラブルビデオコーディングの場合、参照ピクチャリストＬ０は、現在ピクチャ以前の短期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉ、現在ピクチャ以後の短期参照ピクチャ、長期参照ピクチャの順に構成することができ、参照ピクチャリストＬ１は、現在ピクチャ以後の短期参照ピクチャ、現在ピクチャ以前の短期参照ピクチャ、長期参照ピクチャ、インターレイヤ参照ピクチャＩＬＲＰｉの順に構成することができる。

【0138】

一方、インターレイヤ予測において、インターレイヤ参照ピクチャの情報は、サンプル値のみを利用することもでき、動き情報(動きベクトル)のみを利用することもでき、サンプル値と動き情報を両方とも利用することもできる。予測部２３５は、参照ピクチャインデックスがインターレイヤ参照ピクチャを指示する場合、エンコーディング装置から受信した情報によって、インターレイヤ参照ピクチャのサンプル値のみを利用し、またはインターレイヤ参照ピクチャの動き情報(動きベクトル)のみを利用し、またはインターレイヤ参照ピクチャのサンプル値と動き情報を両方とも利用することができる。

【0139】

インターレイヤ参照ピクチャのサンプル値のみを利用する場合、予測部２３５は、インターレイヤ参照ピクチャで動きベクトルが特定するブロックのサンプルを現在ブロックの予測サンプルとして誘導することができる。ビュー(ｖｉｅｗ)を考慮しないスケーラブルビデオコーディングの場合、インターレイヤ参照ピクチャを利用するインター予測(インターレイヤ予測)での動きベクトルは、固定値(例えば、０)に設定することができる。

【0140】

インターレイヤ参照ピクチャの動き情報のみを利用する場合、予測部２３５は、インターレイヤ参照ピクチャで特定される動きベクトルを、現在ブロックの動きベクトルを誘導するための動きベクトル予測子として使用することができる。また、予測部２３５は、インターレイヤ参照ピクチャで特定される動きベクトルを現在ブロックの動きベクトルとして利用することもできる。

【0141】

インターレイヤ参照ピクチャのサンプルと動き情報を両方とも利用する場合、予測部２３５は、インターレイヤ参照ピクチャで現在ブロックに対応する領域のサンプルとインターレイヤ参照ピクチャで特定される動き情報(動きベクトル)を現在ブロックの予測に利用することができる。

【0142】

デコーディング装置は、参照ピクチャリストでインターレイヤ参照ピクチャを指示する参照インデックスをエンコーディング装置から受信し、これに基づいてインターレイヤ予測を実行することができる。また、デコーディング装置は、インターレイヤ参照ピクチャからどの情報(サンプル情報、動き情報、サンプル情報と動き情報)を利用するかを指示する情報、即ち、二つのレイヤ間でインターレイヤ予測に対する依存性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)を特定する情報もエンコーディング装置から受信することができる。

【0143】

加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５は、復元ブロックを生成する別途のユニット(復元ブロック生成部)と見ることができる。

【0144】

加算器２９０、２９５で復元されたブロック及び/またはピクチャは、フィルタリング部２４０、２８０に提供することができる。

【0145】

図２の例を参照すると、レイヤ１のフィルタリング部２４０は、レイヤ１の予測部２３５及び／またはレイヤ０のフィルタリング部２８０から伝達されるパラメータ情報を利用して復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１のフィルタリング部２４０は、レイヤ０で適用したフィルタリングのパラメータから予測したパラメータを利用してレイヤ１に対するまたはレイヤ間のフィルタリングを適用することができる。

【0146】

メモリ２４５、２８５は、復元されたピクチャまたはブロックを格納して参照ピクチャまたは参照ブロックとして使用可能にする。メモリ２４５、２８５は、格納された復元ピクチャを所定の出力部(図示せず)またはディスプレイ(図示せず)を介して出力することもできる。

【0147】

図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１のエンコーディング装置のように、逆量子化／逆変換部の一モジュールで再整列、逆量子化、逆変換を順序通りに実行するようにデコーディング装置を構成することもできる。

【0148】

また、ここでは、二つのレイヤで構成されたマルチレイヤ構造でスケーラブルビデオデコーディングが実行されることを説明したが、本発明は、これに限定されるものではない。例えば、図２のデコーディング装置は、二つ以上のレイヤを含むマルチレイヤ構造にも適用することができる。Ｎ個のレイヤで構成されたマルチレイヤ構造に適用される場合、図２のレイヤ０とレイヤ１は、Ｎ個のレイヤのうち、参照関係を示す二つのレイヤである。

【0149】

このとき、デコーディング装置は、二つのレイヤ間の参照関係を示す情報をエンコーディング装置から受信することができる。例えば、二つのレイヤ間にインターレイヤ予測の依存関係が存在する場合、デコーディング装置は、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]を受信することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[Ｌ][Ｍ]の値が１の場合、Ｌ番目のレイヤは、Ｍ番目のレイヤを参照して予測することができる。

【0150】

図１及び図２の例では、予測部として説明したが、発明に対する理解を容易にするために、レイヤ１の予測部は、他のレイヤ(レイヤ０)の情報を利用して予測を実行するインターレイヤ予測部と、他のレイヤ(レイヤ０)の情報を利用せずに予測を実行するインター／イントラ予測部とを含むとみることもできる。

【0151】

ビットストリーム内の複数のレイヤをサポートするビデオの符号化及び復号化、即ち、スケーラブルコーディング(ｓｃａｌａｂｌｅ ｃｏｄｉｎｇ)の場合、複数のレイヤ間には強い相関性(ｃｏｒｒｅｌａｔｉｏｎ)が存在するため、このような相関性を利用して予測を実行すると、データの重複要素を除去することができ、映像の符号化性能を向上することができる。

【0152】

複数の階層は、解像度、フレームレート、カラーフォーマット、ビュ(ｖｉｅｗ)のうち少なくとも一つが異なる。したがって、インターレイヤ予測時、他のレイヤの情報を利用するために、解像度の調節のためのアップサンプリングまたはダウンサンプリングを実行することができる。

【0153】

互いに異なるレイヤ間のインターレイヤ依存性(Ｉｎｔｅｒ−ｌａｙｅｒ ｄｅｐｅｎｄｅｎｃｙ)は、一レイヤのブロック／ピクチャが他のレイヤの他のブロック／ピクチャを参照してデコーディングすることができるかを示す。したがって、マルチレイヤ構造で現在レイヤと参照レイヤとの間に依存性が存在する場合、現在レイヤは、参照レイヤを参照して予測することができる。“レイヤ”は、コーディングデメンションを示す(ｒｅｐｒｅｓｅｎｔａｔｉｏｎ)。コーディングデメンション(ｃｏｄｉｎｇ ｄｉｍｅｎｓｉｏｎ)は、スケーラビリティ(例えば、空間的スケーラビリティ、時間的スケーラビリティ、画質的スケーラビリティ)、ビュー(視点、ｖｉｅｗ)及びデプス(ｄｅｐｔｈ)コーディングレプリゼンテーションなどである。インターレイヤ依存性は、インターレイヤ予測の適用によって考慮されると見なされることもあるが、これに限定するものではない。例えば、前述したインターレイヤイントラ予測、インターレイヤ動き予測、インターレイヤシンタックス予測、インターレイヤレジデュアル予測、インターレイヤユニット予測などをインターレイヤ依存性に含むこともできる。

【0154】

特定レイヤでピクチャを処理(ｐｒｏｃｅｓｓｉｎｇ)する時、エンコーディング装置は、Ｒ−Ｄ(Ｒａｔｅ ａｎｄ Ｄｉｓｔｏｒｔｉｏｎ)パフォーマンスに基づいてインターレイヤ予測を使用するかを選択することができる。

【0155】

図３は、本発明を適用することができる二つの空間的(ｓｐａｔｉａｌ)レイヤシーケンス構造の一例を概略的に説明する図面である。

【0156】

空間的レイヤは、サポートされるスケーラビリティが空間的スケーラビリティであるレイヤを意味する。

【0157】

図３を参照すると、黒くて太い矢印は、同じ空間的レイヤ内のピクチャ間の時間的依存性を示す。また、図３において、点線矢印は、互いに異なる空間的レイヤのピクチャ間でインターレイヤ依存性を示す。

【0158】

図３の例において、ｘ^yは、レイヤｙでｘ番目のピクチャを示す。

【0159】

図示されているように、図３の例は、インターレイヤ予測がピクチャ０、ピクチャ３、ピクチャ６等で適用される場合を例として説明する。図３の例のような構造で、ピクチャのエンコーディング順序及びエンコーディング装置からデコーディング装置への伝達順序(ｄｅｌｉｖｅｒｙ ｏｒｄｅｒ)は、下記の順序１の通りである。

【0160】

順序１：０⁰ ０¹ １⁰ １¹ ２⁰ ２¹ ３⁰ ３¹ ４⁰ ４¹ ５⁰ ５¹ ６⁰ ６¹...

【0161】

ピクチャのデコーディング順序及びエンコーディング装置からデコーディング装置に受信される順序も順序１の通りである。

【0162】

これと関連して、インターレイヤ予測は、選択的(ｏｐｔｉｏｎａｌｌｙ)に利用することもできる。即ち、最上位レイヤ(ｔｏｐ ｌａｙｅｒ)でないレイヤに存在する全てのピクチャに適用されない。

【0163】

例えば、図３の例において、ディスプレイのためのターゲットレイヤが空間的エンハンスメントレイヤ１の場合、空間的ベースレイヤの全てのピクチャがデコーディングされる必要はない。例えば、図３の例において、ピクチャ１⁰と４⁰は、デコーディングされる必要がない。その理由は、二つのピクチャ１⁰と４⁰は、図示されているように、インターレイヤ予測で参照ピクチャとして使われず、同じ空間的レイヤ(ベースレイヤ)内のピクチャのうち、インターレイヤ予測に利用されるピクチャにより直／間接的に参照されないためである。

【0164】

したがって、１⁰と４⁰がデコーディングされないとする時、エンコーディング装置からデコーディング装置への伝達順序は、順序１と同じであるが、ピクチャのデコーディング順序は、順序２の通りである。

【0165】

順序２：０⁰ １⁰ １¹ ２⁰ ２¹ ３⁰ ３¹ ４¹ ５⁰ ５¹ ６⁰ ６¹...

【0166】

順序１と順序２を比較すると、順序２の場合は、ピクチャ１⁰とピクチャ４⁰のデコーディングが除外されたことを知ることができる。前述したように、二つのピクチャ１⁰と４⁰は、図示されているように、インターレイヤ予測で参照ピクチャとして使われず、同じ空間的レイヤ(ベースレイヤ)内のピクチャのうち、インターレイヤ予測に利用されるピクチャにより直／間接的に参照されないためである。

【0167】

順序２のように、インターレイヤ予測に利用されないピクチャとインターレイヤ予測に利用する同じレイヤ内の他のピクチャからも直／間接的に参照しないピクチャをデコーディングしないことによって得るようになる利得は、下記の通りである。

【0168】

(１)演算リソースの節約(ｃｏｍｐｕｔｉｎｇ ｒｅｓｏｕｒｃｅ ｓａｖｉｎｇ)。これらのピクチャを演算／デコーディングすることより、演算リソースを他のピクチャに対する演算／デコーディングに使用することができるため、符号化/復号化プロセスの速度を高めることができる。

【0169】

(２)メモリ節約(ｍｅｍｏｒｙ ｓａｖｉｎｇ)。これらのピクチャを演算しないことによって、メモリ空間をこれらのために割り当てる必要がなくて、メモリ空間を節約することができる。

【0170】

しかし、これと関連してインターレイヤ予測に利用されることなく、インターレイヤ予測に利用される同じレイヤ内の他のピクチャからも直／間接的に参照されないピクチャをデコーディングしないことによって利得を得ることができるとしても、デコーディング／ディスプレイのためのターゲットレイヤが与えられた時、どのピクチャがデコーディングで省略されるか(ｓｋｉｐｐｅｄ ｆｏｒ ｄｅｃｏｄｉｎｇ)またはどのピクチャが入力シーケンスから除去されるか(ｒｅｍｏｖｅｄ ｆｒｏｍ ｉｎｐｕｔ ｓｅｑｕｅｎｃｅ)を知ることができる方法が必要である。

【0171】

以下、本発明によって、どのピクチャのデコーディングが省略されてドロップされることができるか(ｓｋｉｐｐｅｄ/ｄｒｏｐｐｅｄ)を決定する方法に対して説明する。

【0172】

インターレイヤ予測に参照されることなく、インターレイヤ予測に利用される同じレイヤ内の他のピクチャからも直／間接的に参照されないピクチャをデコーディングしないための方法は、明示的な情報の送信、デコーディング方法の変更、メモリ管理など、多様な方法に接近することができる。

【0173】

実施例Ｉ．明示的な情報の送信に基づくベースレイヤピクチャのデコーディング省略

【0174】

本方法によると、それぞれのピクチャに対して明示的に情報を送信して該当ピクチャがインターレイヤ予測に必要か(他のレイヤのインターレイヤ予測に参照されるか)を指示することができる。

【0175】

送信される第１の情報は、第１の情報により指示されるレイヤのピクチャが他のレイヤのピクチャに対するインターレイヤ予測に必要かどうか(他のレイヤのピクチャに対するインターレイヤ予測に参照されるか)を指示することができる。

【0176】

例えば、第１の情報がｉｌｐ_ｆｌａｇであるとする時、ｉｌｐ_ｆｌａｇの値が１の場合、該当レイヤは、他のレイヤのインターレイヤ予測に必要であると指示することができ、ｉｌｐ_ｆｌａｇの値が０の場合、該当レイヤは、他のレイヤのインターレイヤ予測に必要でないと指示することができる。

【0177】

第１の情報は、ＮＡＬユニットヘッダで送信することもでき、スライスヘッダで送信することもできる。また、第１の情報は、一定な制限を有して送信することもできる。例えば、第１の情報がスライスヘッダで送信する場合、一定な制限として、第１の情報の値は、同じピクチャ内のスライスヘッダ毎に同じく設定することもできる。

【0178】

送信する第２の情報は、第２の情報が特定するピクチャが、同じレイヤ内の他のピクチャのうち、インターレイヤ予測に必要なピクチャにより直／間接的に参照するかを指示する情報である。

【0179】

例えば、第２の情報がｉｌｐ_ｒｅｆ_ｆｌａｇであるとする時、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が１の場合、ｉｌｐ_ｒｅｆ_ｆｌａｇが特定するピクチャは、同じレイヤ内の他のピクチャのうち、インターレイヤ予測に必要なピクチャにより直／間接的に参照するピクチャである。

【0180】

第２の情報は、ＮＡＬユニットヘッダで送信することもでき、スライスヘッダで送信することもできる。また、第２の情報は、一定な制限を有して送信することもできる。例えば、第２の情報がスライスヘッダで送信される場合、一定な制限として、第２の情報の値は、同じピクチャ内のスライスヘッダ毎に同じく設定することもできる。

【0181】

第１の情報及び第２の情報において、「情報により特定されるピクチャ」は、その情報が適用されるピクチャを意味する。

【0182】

第１の情報(例えば、ｉｌｐ_ｆｌａｇ)と第２の情報(例えば、ｉｌｐ_ｒｅｆ_ｆｌａｇ)は、互いに独立的であり、各ピクチャは、互いに異なる値のｉｌｐ_ｒｅｆとｉｌｐ_ｒｅｆ_ｆｌａｇを有することもできる。例えば、ｉｌｐ_ｆｌａｇはｉｌｐ_ｒｅｆ_ｆｌａｇと関係なく独立的な値を有することができ、ｉｌｐ_ｒｅｆ_ｆｌａｇもｉｌｐ_ｆｌａｇの値と関係ない値を有することができる。

【0183】

以下、説明の便宜のために、第１の情報の例としてｉｌｐ_ｆｌａｇ、第２の情報の例としてｉｌｐ_ｒｅｆ_ｆｌａｇを挙げて発明の実施例を説明する。

【0184】

(実施例Ｉ−１)ＮＡＬ(Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔ Ｌａｙｅｒ)ユニットヘッダでの情報送信

【0185】

送信に対する実施例Ｉ−１では、ＮＡＬユニットヘッダで第１の情報と第２の情報を送信することができる。例えば、表１のようにＮＡＬユニットヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。

【0186】

【表1】

【0187】

前述したように、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるかを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在コーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)が同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。

【0188】

即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、ＮＡＬユニットヘッダで送信され、このＮＡＬユニットヘッダに対応するピクチャが直／間接的にインターレイヤ予測に利用されるかを指示する。

【0189】

デコーディング装置は、ＮＡＬユニットヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象ピクチャが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象ピクチャに対するデコーディングを省略することができる。

【0190】

(実施例Ｉ−２)スライスセグメントヘッダでの情報送信

【0191】

送信に対する実施例Ｉ−２では、スライスセグメントヘッダで第１の情報と第２の情報を送信することができる。例えば、表２のように、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。

【0192】

【表2】

【0193】

前述したように、ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されることができるかを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在スライスが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。

【0194】

即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、スライスセグメントヘッダで送信され、このスライスセグメントヘッダに対応するスライスが直／間接的にインターレイヤ予測に利用されるかを指示する。

【0195】

デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスまたはピクチャに対するデコーディングを省略することができる。

【0196】

これと違って、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用されることができるかを指示し、このとき、ｉｌｐ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。また、ｉｌｐ_ｒｅｆ_ｆｌａｇも現在コーディングされたピクチャが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示し、このとき、ｉｌｐ_ｒｅｆ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。

【0197】

この場合、デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスが属するピクチャに対するデコーディングを省略することができる。

【0198】

(実施例Ｉ−３)サブレイヤに対してＶＰＳ(Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ)での情報送信

【0199】

本例は、二つの方式に第１の情報(ｉｌｐ_ｆｌａｇ)を送信することができる。

【0200】

方式１では、表３のように、各サブレイヤに対するｉｌｐ_ｆｌａｇの値が他のレイヤ内の同じサブレイヤに対しても同じく設定されることができる。

【0201】

【表3】

【0202】

表３のＶＰＳにおいて、ｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できる時間的サブレイヤの最大個数を特定する。表３のＶＰＳにおいて、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が１の場合、コーディングされたピクチャ／スライスのうち、サブレイヤを特定する時間的ＩＤ(以下、ｔｅｍｐｏｒａｌＩＤ)がｉであるピクチャ／スライスは、インターレイヤ予測に利用することができると指示する。それに対し、即ち、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が０の場合、コーディングされたピクチャ／スライスのうち、ｔｅｍｐｏｒａｌＩＤがｉであるピクチャ／スライスは、インターレイヤ予測に利用することができないことを指示する。

【0203】

方式２の場合、表４のように、各サブレイヤに対するｉｌｐ_ｆｌａｇの値が他のレイヤ内の同じサブレイヤのｉｌｐ_ｆｌａｇ値と異なる。

【0204】

【表4】

【0205】

表４のＶＰＳにおいて、ｖｐｓ_ｍａｘ_ｎｕｍ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できるレイヤの個数を特定し、ｖｐｓ_ｍａｘ_ｓｕｂ_ｌａｙｅｒｓ_ｍｉｎｕｓ１は、コーディングされたビデオシーケンス(Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ)内に存在できる時間的サブレイヤの最大個数を特定する。表４の例において、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ][ｊ]の値が１の場合、コーディングされたピクチャ／スライスのうち、レイヤを特定するレイヤＩＤ(以下、ＬａｙｅｒＩＤ)がｉであり、ｔｅｍｐｏｒａｌＩＤがｊであるピクチャ／スライスは、インターレイヤ予測に利用することができると指示する。それに対し、即ち、ｖｐｓ_ｉｌｐ_ｆｌａｇ[ｉ]の値が０の場合、コーディングされたピクチャ／スライスのうち、ＬａｙｅｒＩＤがｉであり、ｔｅｍｐｏｒａｌＩＤがｊであるピクチャ／スライスは、インターレイヤ予測に利用することができないことを指示する。

【0206】

方式１を適用する場合は、複雑度を低くして送信量を減らすことができ、方式２を適用する場合は、インターレイヤ予測の効果を向上するための高いプレキシビリティを得ることができる。

【0207】

(実施例Ｉ−４)ピクチャとサブレイヤに対するインターレイヤ予測情報送信の組合せ

【0208】

本実施例によると、インターレイヤ情報を組合せて送信することができる。具体的に、スライスセグメントヘッダでｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇと、サブレイヤでｉｌｐ_ｆｌａｇを共に適用することができる。

【0209】

この場合、次のような制限を適用することができる。(１)ＴｅｍｐｏｒａｌＩＤ ｉに対してｉｌｐ_ｆｌａｇの値が１の場合、ＴｅｍｐｏｒａｌＩＤがｉであるスライスセグメントのヘッダでｉｌｐ_ｆｌａｇの値は、１または０である。(２)それに対し、ＴｅｍｐｏｒａｌＩＤ ｉに対してｉｌｐ_ｆｌａｇの値が０の場合、ＴｅｍｐｏｒａｌＩＤがｉであるスライスセグメントのヘッダでｉｌｐ_ｆｌａｇの値は、０である。

【0210】

実施例II．デコーディング方法に基づくベースレイヤピクチャのデコーディング省略

【0211】

本実施例によると、エンコーディング装置とデコーディング装置との間の伝達／トランスポートシステム及びデコーディング装置の効率を上げることができる。本実施例は、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャが処理される必要があるかを伝達システムとデコーディング装置が効果的に決定できるようにする。

【0212】

具体的には、本実施例IIでは、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャを含むパッケージ(ｐａｃｋａｇｅ)が伝達される必要があるか、またはドロップされる(ｄｒｏｐｐｅｄ)必要があるかをエンコーディング装置とデコーディング装置との間の伝達(ｄｅｌｉｖｅｒｙ)／トランスポート(ｔｒａｎｓｐｏｒｔ)システムが決定できるようにする。また、本実施例IIでは、特定レイヤＩＤ、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇを有するコーディングされたピクチャがコーディングされる必要があるかをデコーディング装置が決定できるようにする。

【0213】

本実施例IIを含む本明細書において、ターゲットレイヤを特定するＴａｒｇｅｔＬａｙｅｒは、ディスプレイされ、またはデコーディング装置により出力される最も高いレイヤのレイヤＩＤである。また、ＬａｙｅｒＩＤは、各コーディングされたピクチャのレイヤＩＤであり、ｉｌｐ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｆｌａｇ値を示し、ｉｌｐ_ｒｅｆ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値を示す。

【0214】

本実施例によると、特定ＴａｒｇｅｔＬａｙｅｒに対して下記の条件(ｉ)〜(iii )の全てが満たされる場合は、前記ＴａｒｇｅｔＬａｙｅｒに対応するコーディングされたピクチャは、コーディングされない、またはドロップされる。

【0215】

条件(ｉ)ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒ

【0216】

条件(ii)ｉｌｐ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)。即ち、ｉｌｐ_ｆｌａｇの値が０。

【0217】

条件(iii )ｉｌｐ_ｒｅｆ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)、即ち、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０。

【0218】

図４は、本実施例に対して概略的に説明する図面であり、デコーディング装置に伝達する必要がない、またはデコーディングされる必要がないコーディングされたピクチャを除去する方法の一例を示す。

【0219】

図４の例を参照すると、ターゲットレイヤが空間的エンハンスメントレイヤ１の場合、コーディングされたピクチャ１⁰と４⁰は、デコーディング装置に伝達される必要がない、またはデコーディングされる必要がない。その理由は、ピクチャ１⁰とピクチャ４⁰に対して前記条件(ｉ)〜(iii )の全てが満たされるためである。

【0220】

即ち、図４の例において、ピクチャ１⁰とピクチャ４⁰は、レイヤ０のピクチャであって、ＴａｒｇｅｔＬａｙｅｒよりＬａｙｅｒＩＤが小さいレイヤのピクチャであり、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０である。

【0221】

したがって、図４の例において、エンコーディング順序／伝達順序は順序３の通りであり、デコーディング順序は順序４の通りである。

【0222】

順序３：０⁰ ０¹ １⁰ １¹ ２⁰ ２¹ ３⁰ ３¹ ４⁰ ４¹ ５⁰ ５¹ ６⁰ ６¹

【0223】

順序４：０⁰ ０¹ １¹ ２⁰ ２¹ ３⁰ ３¹ ４¹ ５⁰ ５¹ ６⁰ ６¹

【0224】

したがって、実施例IIによると、エンコーディング装置は、条件(ｉ)〜(iii )の全てが満たされる場合、該当ピクチャを伝達せず、デコーディング装置は、条件(ｉ)〜(iii )の全てが満たされる場合、該当ピクチャをドロップし、またはデコーディングしない。

【0225】

実施例III ．メモリ管理に基づくベースレイヤピクチャのデコーディング省略

【0226】

本実施例によると、エンコーディング装置とデコーディング装置のメモリ管理(ｍｅｍｏｒｙ ｍａｎａｇｅｍｅｎｔ)に基づき、特定レイヤＩＤとｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇに対応するコーディングされたピクチャの復元ピクチャをメモリに格納するか、または維持するかを決定することができる。

【0227】

また、本実施例によると、エンコーディング装置とデコーディング装置のメモリ管理に基づいて、特定レイヤＩＤとｉｌｐ_ｆｌａｇ及びｉｌｐ_ｒｅｆ_ｆｌａｇに対応するコーディングされたピクチャの復元ピクチャがメモリから除去されなければならないかを決定することができる。

【0228】

本実施例III と本明細書において、メモリは、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)である。

【0229】

本実施例においても、ターゲットレイヤを特定するＴａｒｇｅｔＬａｙｅｒは、ディスプレイされ、またはデコーディング装置により出力される最も高いレイヤのレイヤＩＤである。また、ＬａｙｅｒＩＤは、各コーディングされたピクチャのレイヤＩＤであり、ｉｌｐ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｆｌａｇ値を示し、ｉｌｐ_ｒｅｆ_ｆｌａｇは、各コーディングされたピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値を示す。

【0230】

本実施例において、与えられた特定ＴａｒｇｅｔＬａｙｅｒ(ｇｉｖｅｎ ｐａｒｔｉｃｕｌａｒ Ｔａｒｇｅｔ Ｌａｙｅｒ)に対し、コーディングされたピクチャの復元ピクチャは、下記の条件(ｉ)〜(iii )の全てが満たされると、メモリ内に維持することができない。

【0231】

条件(ｉ)ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒ

【0232】

条件(ii)ｉｌｐ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)。即ち、ｉｌｐ_ｆｌａｇの値が０。

【0233】

条件(iii )ｉｌｐ_ｒｅｆ_ｆｌａｇの値がフォールス(ｆａｌｓｅ)、即ち、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０。

【0234】

また、本実施例において、与えられた特定ＴａｒｇｅｔＬａｙｅｒに対し、ピクチャの出力順序に対応するＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)がｐｉｃ_ｃｕｒｒであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄ(即ち、ｌａｙｅｒ_ｉｄ≦ＴａｒｇｅｔＬａｙｅｒ)であるコーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)をデコーディングした後、下記の条件(ａ)〜(ｄ)の全てが満たされる場合、メモリ内の参照ピクチャのうち該当参照ピクチャは除去される。

【0235】

条件(ａ)参照ピクチャのＰＯＣがｐｏｃ_ｃｕｒｒと同じである。

【0236】

条件(ｂ)参照ピクチャのＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄより小さい。

【0237】

条件(ｃ)参照ピクチャのｉｌｐ_ｆｌａｇがトルー、即ち、参照ピクチャのｉｌｐ_ｆｌａｇ値が１。

【0238】

条件(ｄ)参照ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇがフォールス、即ち、参照ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇ値が０。

【0239】

このとき、条件(ｃ)は、常に適用されてもよく、選択的に適用されてもよい。

【0240】

本実施例によると、デコーディング装置は、ＬａｙｅｒＩＤ<ＴａｒｇｅｔＬａｙｅｒであり、ｉｌｐ_ｆｌａｇの値とｉｌｐ_ｒｅｆ_ｆｌａｇの値が０の場合、復元されたピクチャをメモリに格納し、または維持しない。

【0241】

また、デコーディング装置は、ＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)がｐｉｃ_ｃｕｒｒであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄであるピクチャをデコーディングした後、参照ピクチャのうち、ＰＯＣがｐｏｃ_ｃｕｒｒと同じであり、ＬａｙｅｒＩＤがｃｕｒｒ_ｌａｙｅｒ_ｉｄより小さく、ｉｌｐ_ｆｌａｇ値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇ値が０である参照ピクチャをメモリから除去することができる。

【0242】

ＴａｒｇｅｔＬａｙｅｒを考慮し、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する実施例III によるメモリ管理を適用することによって、ビットストリームを処理してデコーディングするのに必要なメモリサイズを減らすことができる。

【0243】

図５は、メモリ管理の一例に対して概略的に説明する図面である。

【0244】

図５の例を参照すると、本実施例に係るメモリ管理を適用した場合、メモリサイズを減らすことができるということを確認することができる。

【0245】

図５の例では、ランダムアクセス設定によるピクチャ構造を例として説明する。図５の例では、４個の時間的レベルを有する二つの空間的スケーラビリティレイヤ(ｓｐａｔｉａｌ ｓｃａｌａｂｉｌｉｔｙ ｌａｙｅｒｓ)の場合を説明する。

【0246】

図５の例において、空間的ベースレイヤで時間的レベルが０と１であるピクチャは、インターレイヤ予測に使うことができる。それに対し、空間的ベースレイヤで時間的レベルが２と３であるピクチャは、インターレイヤ予測に使われない。

【0247】

このような図５の構造の場合、空間的ベースレイヤ(ｓｐａｔｉａｌ ｂａｓｅ ｌａｙｅｒ)のデコーディングでは、少なくとも６個の参照ピクチャを格納するためにメモリを割り当てなければならない。このとき、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用しない場合、空間的エンハンスメントレイヤ(ｓｐａｔｉｌａ ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)のデコーディングのためには、少なくとも１１個の参照ピクチャを格納するためにメモリを割り当てなければならない。

【0248】

図６は、本発明によるメモリ管理の一例を概略的に説明する図面である。

【0249】

図６の例は、図５の例と同じピクチャ構造(ｐｉｃｔｕｒｅ ｓｔｒｕｃｔｕｒｅ)を有する。ただし、図６の例は、図５の例とは違って、二つの情報ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する場合を説明する。

【0250】

この二つの情報、即ち、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用することによって、空間的ベースレイヤで時間的レベルが２と３であるピクチャがインターレイヤ予測に基づくエンハンスメントレイヤのデコーディングに必要でなく、したがって、除去されうるということを指示することができる。

【0251】

ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用しない図５の例とは違って、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを活用する図６の例では、図示されているように、空間的ベースレイヤのデコーディング過程で３個のピクチャを格納するためのメモリのみ割り当てればよい。

【0252】

図７は、図６の例において、デコーディング過程に必要でないピクチャを除外した状況を概略的に説明する図面である。

【0253】

図６の例で説明したように、図５乃至図７の例に係るピクチャ構造において、ベースレイヤのピクチャのうち、時間的レベルが２と３であるピクチャは、エンハンスメントレイヤのデコーディングに使われないため、図７の例のようにメモリから除去することができる。したがって、図６と図７の例で、ベースレイヤに対して要求されるメモリは、図５の例とは違って、３個のピクチャを格納するメモリで十分である。

【0254】

図８は、各ピクチャのデコーディング過程でコンテンツ／メモリ状態／ＤＰＢ状態に対する一例を概略的に説明する図面である。図８の例において、各ピクチャは、デコーディング順序によって説明されており、ピクチャ構造は、図６及び図７の例と同じである。

【0255】

図８の例においても、ターゲットレイヤＴａｒｇｅｔＬａｙｅｒの値が１であると仮定する。

【0256】

Ｘ表示が付与されたピクチャは、ＤＰＢから除去されるピクチャである。

【0257】

図８の例から分かるように、本実施例に係るメモリ管理を適用すると、必要なメモリサイズは、１１ピクチャを格納するためのメモリサイズから７ピクチャを格納するためのメモリサイズに減る。

【0258】

実施例IV．参照ピクチャリスト構成及び管理に基づくベースレイヤピクチャのデコーディング省略

【0259】

本実施例では、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用し、参照ピクチャリストを構成する方法を修正することもできる。

【0260】

本実施例によって、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用する場合、スライスの参照ピクチャリストは、下記のように構成されることができる。

【0261】

（１）前記スライスのｉｌｐ_ｆｌａｇ値が０の場合、前記スライスに対する参照ピクチャリストは、参照ピクチャセット(Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ：ＲＰＳ)のみに基づいて構成することができる。即ち、現在参照ピクチャリスト構成に変化がない。

【0262】

（２）前記スライスのｉｌｐ_ｆｌａｇ値が１の場合、前記スライスに対する参照ピクチャリストは、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が１であり、このスライスに対するＲＰＳに含まれている参照ピクチャを含んで構成される。

【0263】

参照ピクチャセット(ＲＰＳ)は、ピクチャと連関された参照ピクチャのセット(ｓｅｔ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ａｓｓｏｃｉａｔｅｄ ｗｉｔｈ ａ ｐｉｃｔｕｒｅ)であって、デコーディング順序で前記関連したピクチャより先行する全ての参照ピクチャで構成され、この参照ピクチャは、前記関連したピクチャまたは前記関連したピクチャよりデコーディング順序で後行するピクチャのインター予測に利用することができる。

【0264】

参照ピクチャセットは、参照ピクチャセットリストを含むことができる。参照ピクチャセットリストは、ＰＯＣ順序上、現在ピクチャに先行する短期参照ピクチャで構成されたリスト、ＰＯＣ順序上、現在ピクチャに後行する短期参照ピクチャで構成されたリスト、及び長期参照ピクチャで構成されたリストを含むことができる。

【0265】

参照ピクチャリストは、ＰＯＣ順序上、現在ピクチャに先行する短期参照ピクチャ、ＰＯＣ順序上、現在ピクチャに後行する短期参照ピクチャ、長期参照ピクチャ、及びインターレイヤ参照ピクチャのうち少なくとも一つ以上を含んで構成することができる。

【0266】

本実施例IVによって、参照ピクチャリストの構成を修正する方法を具体的に説明する。

【0267】

本実施例において、ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、臨時リスト０で現在スライスに対する参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ０)を示す。ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０は、臨時リスト０で現在スライスに対する参照ピクチャのＰＯＣのリスト(Ｌｉｓｔ ｏｆ ＰＯＣ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ０)を示す。ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ１は、臨時リスト１で現在スライスに対する参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ１)を示す。ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１は、臨時リスト１で現在スライスに対する参照ピクチャのＰＯＣのリスト(Ｌｉｓｔ ｏｆ ＰＯＣ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｉｎ ｔｅｍｐｏｒａｌ ｌｉｓｔ１)を示す。ＮｕｍＰｏｃＳｔＣｕｒｒＢｅｆｏｒｅは、現在スライスに対する短期参照ピクチャのうち、現在スライスのＰＯＣより小さいＰＯＣを有する短期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｗｈｏｓｅ ＰＯＣ ｉｓ ｓｍａｌｌｅｒ ｔｈａｎ ＰＯＣ ｏｆ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＮｕｍＰｏｃＳｔＣｕｒｒＡｆｔｅｒは、現在スライスに対する短期参照ピクチャのうち、現在スライスのＰＯＣより大きいＰＯＣを有する短期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｓｈｏｒｔ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ ｗｈｏｓｅ ＰＯＣ ｉｓ ｇｒｅａｔｅｒ ｔｈａｎ ＰＯＣ ｏｆ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＮｕｍＰｏｃＬｔＣｕｒｒは、現在スライスに対する長期参照ピクチャの個数(Ｎｕｍｂｅｒ ｏｆ ｌｏｎｇ ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＲｅｆＰｉｃＬｉｓｔ０は、現在スライスに対する参照ピクチャのリストＬ０(Ｌｉｓｔ０ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ＲｅｆＰｉｃＬｉｓｔ１は、現在スライスに対する参照ピクチャのリストＬ１(Ｌｉｓｔ１ ｏｆ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅｓ ｆｏｒ ｃｕｒｒｅｎｔ ｓｌｉｃｅ)を示す。ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０は、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要かを指示する情報である。例えば、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０の値が１の場合、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要であると指示し、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ０の値が０の場合、ＲｅｆＰｉｃＬｉｓｔ０に対する修正が必要でないと指示することができる。ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１は、ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要か否かを指示する情報である。例えば、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１の値が１の場合、ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要であると指示し、ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌ１の値が０の場合、ＲｅｆＰｉｃＬｉｓｔ１に対する修正が必要でないと指示することができる。ＩｌｐＲｅｆＬｉｓｔは、ピクチャのｉｌｐ_ｒｅｆ_ｆｌａｇのリスト(Ｌｉｓｔ ｏｆ ｉｌｐ_ｒｅｆ_ｆｌａｇ ｏｆ ｐｉｃｔｕｒｅｓ)である。ＩｌｐＲｅｆＬｉｓｔ[ｘ]は、ピクチャｘのｉｌｐ_ｒｅｆ_ｆｌａｇ(ｉｌｐ_ｒｅｆ_ｆｌａｇ ｏｆ ｐｉｃｔｕｒｅ ｘ)であり、インデックスｘは、ピクチャのＰＯＣを示すことができる。

【0268】

本実施例に係る参照ピクチャリストの構成は、下記の通りである。

【0269】

各スライスのデコーディングプロセスが開始する時(ａｔ ｔｈｅ ｂｅｇｉｎｎｉｎｇ ｏｆ ｔｈｅ ｄｅｃｏｄｉｎｇ ｐｒｏｃｅｓｓ)、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０及びＢピクチャに対するＲｅｆＰｉｃＬｉｓｔ１を下記のように構成することができる。

【0270】

変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ０は、Ｍａｘ(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ０_ａｃｔｉｖｅ_ｍｉｎｕｓ１＋１,ＮｕｍＰｏｃＴｏｔａｌＣｕｒｒ)に設定され、リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０は、表５のように構成することができる。

【0271】

【表5】

【0272】

したがって、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ０は、表６のように構成することができる。

【0273】

【表6】

【0274】

一方、スライスがＢスライスである場合は、２番目の参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１を利用することができる。この場合、変数ＮｕｍＲｐｓＣｕｒｒＴｅｍｐＬｉｓｔ１をＭａｘ(ｎｕｍ_ｒｅｆ_ｉｄｘ_ｌ０_ａｃｔｉｖｅ_ｍｉｎｕｓ１＋１,ＮｕｍＰｏｃＴｏｔａｌＣｕｒｒ)に設定し、リストＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１を表７のように構成することができる。

【0275】

【表7】

【0276】

したがって、スライスがＢスライスの場合、参照ピクチャリストＲｅｆＰｉｃＬｉｓｔ１は、表８のように構成することができる。

【0277】

【表8】

【0278】

表５乃至表８を参照すると、臨時リスト(ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ０、ＲｅｆＰｉｃＬｉｓｔＴｅｍｐ１)は、ｒｅｆ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用する前記（１）及び（２）によって構成され、臨時リストに基づき、参照ピクチャリストの修正がない場合(ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌＸ＝０、Ｘ＝０または１)は臨時リストを参照ピクチャリストにし、参照ピクチャリストの修正がある場合(ｒｅｆ_ｐｉｃ_ｌｉｓｔ_ｍｏｄｉｆｉｃａｔｉｏｎ_ｆｌａｇ_ｌＸ＝１)は符号化装置から送信されるリストエントリ情報(ｌｉｓｔ_ｅｎｔｒｙ_ｌｘ[ｒＩｄｘ]、ｌｘ＝ｌ０またはｌ１)によって修正された臨時リストを参照ピクチャリストにすることができる。

【0279】

以上、本発明によって、シグナリング(情報送信)、デコーディング方法、メモリ管理、参照ピクチャリスト構成に基づいてベースレイヤの参照ピクチャのデコーディングを省略する方法に対して説明した。

【0280】

これに追加して、効率的なインターレイヤ予測を実行するために、インターレイヤ予測をピクチャレベルで制御する方法も考慮することができる。

【0281】

マルチレイヤビットストリームで、デコーディング複雑度は、最上位でないレイヤ(ｎｏｎ−ｈｉｇｈｅｓｔ)のピクチャまたは出力されないレイヤ(ｎｏｎ−ｏｕｔｐｕｔｔｅｄ)のピクチャがインターレイヤ予測に必要でない場合、軽減されることができる。このとき、前記ピクチャを前述したようにデコーディングしない、または除去することができるためである。

【0282】

以下、これに対してピクチャレベルで制御する方法をシグナリング方法とデコーディング方法に基づいて具体的に説明する。

【0283】

実施例Ｖ．シグナリング方法に基づくインターレイヤ予測の制御

【0284】

(実施例Ｖ−１)

【0285】

実施例Ｖ−１では、表９のように、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを送信することができる。

【0286】

【表9】

【0287】

前述したように、ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用することができるか否かを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在スライスが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるか否かを指示する。

【0288】

即ち、本例において、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇは、スライスセグメントヘッダで送信され、このスライスセグメントヘッダに対応するスライスが直／間接的にインターレイヤ予測に利用されるか否かを指示する。

【0289】

デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスまたはピクチャに対するデコーディングを省略することができる。

【0290】

このとき、ピクチャレベルでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値を制御することもできる。

【0291】

具体的には、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるか否かを指示し、ｉｌｐ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。

【0292】

また、ｉｌｐ_ｒｅｆ_ｆｌａｇも現在コーディングされたピクチャが同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるか否かを指示し、ｉｌｐ_ｒｅｆ_ｆｌａｇの値がコーディングされたピクチャの全てのスライスセグメントヘッダに対して同じくすることもできる。

【0293】

この場合、デコーディング装置は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを受信し、参照レイヤ内の対象スライスが現在ブロック(現在レイヤ内の復号化対象ブロック)のインターレイヤ予測に直／間接的に使われないということをｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇが指示すると、前記対象スライスが属するピクチャに対するデコーディングを省略することができる。

【0294】

(実施例Ｖ−２)

【0295】

実施例Ｖ−２では、表１０のように、スライスセグメントヘッダでインターレイヤ予測に対する情報をシグナリングすることができる。

【0296】

【表10】

【0297】

表１０において、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるか否かを指示する。即ち、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が１の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インター予測に直／間接的に利用／参照され、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に直／間接的に利用／参照されない。

【0298】

ここで、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇをピクチャレベルでより制御することもできる。

【0299】

この場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、前述と同様に、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるかを指示する。ただし、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値は、コーディングされたピクチャの全てのスライスヘッダで同じ値を有する(ｔｈａｔ ｔｈｅ ｖａｌｕｅ ｏｆ ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｓｈａｌｌ ｂｅ ｔｈｅ ｓａｍｅ ｉｎ ａｌｌ ｓｌｉｃｅ ｓｅｇｍｅｎｔ ｈｅａｄｅｒｓ ｏｆ ａ ｃｏｄｅｄ ｐｉｃｔｕｒｅ)。

【0300】

実施例VI．デコーディング過程に対する影響に基づくインターレイヤ予測の制御

【0301】

(実施例VI−１)

【0302】

本実施例VI−１において、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、デコーディングされるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ｎｕｈ_ｌａｙｅｒ_ｉｄは、マルチレイヤ構造でレイヤを特定するＮＡＬユニットレベルの情報である。ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、出力されるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ＨｉｇｈｅｓｔＴｉｄは、デコーディングされる最も高い時間的サブレイヤ(ｔｈｅ ｈｉｇｈｅｓｔ ｔｅｍｐｏｒａｌ ｓｕｂ−ｌａｙｅｒ ｔｏ ｂｅ ｄｅｃｏｄｅｄ)を示す。

【0303】

実施例VI−１の一例として、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャをデコーディングしない。

【0304】

実施例VI−１の他の例として、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスをデコーディングしない。

【0305】

実施例VI−１の他の例として、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇｄｍｌ値を０に設定することができる。現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値は、現在ピクチャを出力するかを指示することができる。例えば、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が１の場合、対応するピクチャを出力し、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が０の場合、対応するピクチャを出力しない。したがって、デコーディング装置は、現在ピクチャに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。

【0306】

実施例VI−１の他の例として、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方ともフォールス(ｆａｌｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャのＰｉｃＯｕｔｐｕｔＦｌａｇｄｍｌ値を０に設定することができる。したがって、デコーディング装置は、現在スライスに対するｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇの値が両方とも０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。

【0307】

(実施例VI−２)

【0308】

本実施例VI−２においても、ＴａｒｇｅｔＤｅｃＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、デコーディングされるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ｎｕｈ_ｌａｙｅｒ_ｉｄは、マルチレイヤ構造でレイヤを特定するＮＡＬユニットヘッダレベルの情報である。ＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔは、ｎｕｈ_ｌａｙｅｒ_ｉｄ値のリストであって、出力されるＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄ値が昇順に整列されたリストである。ＨｉｇｈｅｓｔＴｉｄは、デコーディングされる最も高い時間的サブレイヤ(ｔｈｅ ｈｉｇｈｅｓｔ ｔｅｍｐｏｒａｌ ｓｕｂ−ｌａｙｅｒ ｔｏ ｂｅ ｄｅｃｏｄｅｄ)を示す。

【0309】

実施例VI−２の一例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャをデコーディングしない。

【0310】

実施例VI−２の他の例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスは、デコーディングプロセスで省略(ｓｋｉｐ)することができる。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在スライスをデコーディングしない。

【0311】

実施例VI−２の他の例として、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇを０に設定することができる。現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値は、現在ピクチャを出力するかを指示することができる。例えば、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が１の場合、対応するピクチャを出力し、ＰｉｃＯｕｔｐｕｔＦｌａｇの値が０の場合、対応するピクチャを出力しない。したがって、デコーディング装置は、現在ピクチャに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。

【0312】

実施例VI−２の他の例として、現在スライスに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値がフォールス(ｆｌａｓｅ)であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇを０に設定することができる。したがって、デコーディング装置は、現在スライスに対するｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０であり、現在ＮＡＬユニットのｎｕｈ_ｌａｙｅｒ_ｉｄがＴａｒｇｅｔＯｕｔｐｕｔＬａｙｅｒＩｄＬｉｓｔに含まれていない場合、現在ピクチャに対するＰｉｃＯｕｔｐｕｔＦｌａｇの値を０に設定し、現在ピクチャを出力しない。

【0313】

一方、参照ピクチャリストの構成を介して参照レイヤのデコーディングを制御する方法を説明したが、これと関連してインターレイヤ予測に必要でないピクチャを考慮して参照ピクチャリストを管理することもできる。

【0314】

これと関連して、ここでは、本発明によって参照ピクチャリストを管理する方法に対して具体的に説明する。

【0315】

実施例VII ．インターレイヤ予測で必要でないピクチャを考慮した参照ピクチャリストの管理

【0316】

前述したように、マルチレイヤビットストリームで、デコーディング複雑度は、最上位でないレイヤ(ｎｏｎ−ｈｉｇｈｅｓｔ)のピクチャまたは出力されないレイヤ(ｎｏｎ−ｏｕｔｐｕｔｔｅｄ)のピクチャがインターレイヤ予測に必要でない場合に軽減することができる。この場合は、前記ピクチャを前述したようにデコーディングしない、または除去することができるためである。

【0317】

本実施例では、参照ピクチャリストに含まれるインターレイヤ参照ピクチャのうち、現在ピクチャ(現在ブロック)の予測に必要でないピクチャを除去し、「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングする方法を具体的に説明する。

【0318】

(実施例VII −１)

【0319】

インターレイヤ予測の利用を指示する情報がシーケンスレベルでのみ送信されるとすると、表１１の例を適用することができる。

【0320】

【表11】

【0321】

表１１において、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]は、マルチレイヤ構造でレイヤ間の依存性(ｄｅｐｅｎｄｅｎｃｙ)を特定する。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]値が０の場合、インデックスｊのレイヤは、インデックスｉであるレイヤに対する予測に直接参照されるレイヤ(ｄｉｒｅｃｔ ｒｅｆｅｒｅｎｃｅ ｌａｙｅｒ)ではない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｆｌａｇ[ｉ][ｊ]の値が１の場合、インデックスｊであるレイヤは、インデックスｉであるレイヤに対する予測に直接参照されるレイヤである。

【0322】

表１１において、ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]は、インターレイヤ予測に利用／参照することができるレイヤｉの最大サブレイヤを特定する。ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]の値が０の場合、ＲＡＰ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ)ピクチャのみがインターレイヤ予測に利用することができる。ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]の値が０より大きい場合、ｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｉ]−１より小さい、または同じｔｅｍｐｏｒａｌＩＤを有するピクチャは、インターレイヤ予測に利用することができる。

【0323】

このような状況で、ｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[参照レイヤのレイヤＩＤ ｌａｙｅｒＩＤ]より大きい、または同じ参照レイヤからのインターレイヤ参照ピクチャは、現在ピクチャの参照ピクチャセットに対するリストに含まれない。即ち、本実施例において、ｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[参照レイヤのレイヤＩＤ ｌａｙｅｒＩＤ]により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きい、または同じ参照レイヤのピクチャは、現在ピクチャの参照ピクチャリストに含まれない。

【0324】

そのために、インターレイヤ参照ピクチャセットに対する復元過程が下記のように修正することができる。

【0325】

インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１２のように誘導することができる。

【0326】

【表12】

【0327】

上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去することができる。

【0328】

<条件>ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｒｅｆＬａｙｅｒＩｄ[ＬａｙｅｒＩｄＩｎｖｐｓ[Ｎｕｈ_ｌａｙｅｒ_ｉｄ]][ｉ]]より大きい。

【0329】

また、前記条件は、下記のように適用することもできる：ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きい。

【0330】

この場合、デコーディング装置は、該当ピクチャをＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングしてインターレイヤ予測で参照しないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。

【0331】

(実施例VII −２)

【0332】

ピクチャがインターレイヤ予測に必要か否かを指示するための多様な方法の一例として、二つの情報、例えば、ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇを利用することができる。

【0333】

表１３は、スライスセグメントヘッダでｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇをシグナリングする一例を示す。

【0334】

【表13】

【0335】

表１３において、ｉｌｐ_ｆｌａｇは、現在コーディングされた符号化されたピクチャがインターレイヤ予測に利用することができるか否かを指示する。ｉｌｐ_ｒｅｆ_ｆｌａｇは、現在コーディングされたピクチャ(ｃｏｄｅｄ ｐｉｃｔｕｒｅ)が同じレイヤ内のピクチャのうち、インターレイヤ予測に必要なピクチャにより参照され、または利用されるかを指示する。

【0336】

このとき、ｉｌｐ_ｆｌａｇの値が０の場合、ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に参照/利用されないため、現在ピクチャに対するインターレイヤ参照ピクチャのリストに含まれない。

【0337】

そのために、インターレイヤ参照ピクチャセットに対する復元過程が下記のように修正することができる。

【0338】

インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１４のように誘導することができる。

【0339】

【表14】

【0340】

二つの情報がインターレイヤ予測を指示するために利用される場合、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャ(ら)は「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去されることができる。

【0341】

<条件>ｉｌｐ_ｆｌａｇの値が０であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０であり、またはｉｌｐ_ｆｌａｇの値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０である。

【0342】

したがって、デコーディング装置は、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０の場合、ｉｌｐ_ｒｅｆ_ｆｌａｇが指示するピクチャを「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングし、またはＤＰＢから除去してインターレイヤ予測に参照／利用されないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。

【0343】

一方、二つの情報(ｉｌｐ_ｆｌａｇとｉｌｐ_ｒｅｆ_ｆｌａｇ)を使用せずに一つの情報(ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ)のみを利用してピクチャがインターレイヤ予測に必要か否かを指示することもできる。

【0344】

表１５は、スライスセグメントヘッダでｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇをシグナリングする一例を示す。

【0345】

【表15】

【0346】

表１５において、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇは、現在スライスがインターレイヤ予測に利用されるか、または現在スライスが同じレイヤのピクチャのうち、インターレイヤ予測に必要な他のピクチャのインター予測に利用され、または参照されるかを指示する。即ち、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が１の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インター予測に直／間接的に利用／参照され、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に直／間接的に利用／参照されない。

【0347】

したがって、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャは、インターレイヤ予測に参照／利用されないため、現在ピクチャに対するインターレイヤ参照ピクチャのリストに含まれない。

【0348】

そのために、インターレイヤ参照ピクチャセットに対する復元過程を下記のように修正することができる。

【0349】

インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１６のように誘導することができる。

【0350】

【表16】

【0351】

したがって、一つの情報(ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ)がインターレイヤ予測を指示するために利用される場合、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去されることができる。

【0352】

<条件>ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０である。

【0353】

したがって、デコーディング装置は、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０の場合、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇが指示するピクチャを「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングし、またはＤＰＢから除去してインターレイヤ予測に参照／利用されないようにすることができる。ＤＰＢから除去し、または「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされたピクチャは、インターレイヤ予測に使われる参照ピクチャリストに含まれない。

【0354】

(実施例VII −３)

【0355】

本実施例VII −３では、シーケンスレベルのシグナリングとピクチャレベルのシグナリングを両方とも使用することができる。

【0356】

本実施例VII −３の一例において、インターレイヤ参照ピクチャセットに対する復元過程は、下記のように修正されることができる。

【0357】

インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１７のように誘導することができる。

【0358】

【表17】

【0359】

表１７が適用される例において、上位レイヤのピクチャをデコーディングした後、前記上位レイヤよりレイヤｉｄが低く、同じＰＯＣを有するＤＰＢ内のピクチャが下記の条件を満たす場合、前記ピクチャは「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、またはＤＰＢから除去することができる。

【0360】

<条件>(１)ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１[ｒｅｆＬａｙｅｒＩｄ[ＬａｙｅｒＩｄＩｎｖｐｓ[Ｎｕｈ_ｌａｙｅｒ_ｉｄ]][ｉ]]より大きい、または(２)ｉｌｐ_ｆｌａｇの値が０であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０であり、または(３)ｉｌｐ_ｆｌａｇの値が１であり、ｉｌｐ_ｒｅｆ_ｆｌａｇの値が０である。ここで、(１)は、ピクチャのｔｅｍｐｏｒａｌＩＤがｍａｘ_ｓｕｂｌａｙｅｒ_ｆｏｒ_ｉｌｐ_ｐｌｕｓ１により特定される最大サブレイヤのｔｅｍｐｏｒａｌＩＤより大きいものに代替することができ、(２)と(３)は、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇの値が０に代替されることもできる。

【0361】

本実施例VII −３の他の例によると、インターレイヤ参照ピクチャセットに対する復元過程１７は、表１８に代替されることもできる。

【0362】

また、インターレイヤ参照ピクチャセットに対する復元過程の出力は、インターレイヤ参照ピクチャのアップデートされたリストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒになる。リストＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒは、最初は空(ｅｍｐｔｙ)に設定され、復元過程を介して表１８のように誘導することができる。

【0363】

【表18】

【0364】

図９は、本発明によるビデオエンコーディング装置の動作に対する一例を概略的に説明する流れ図である。

【0365】

図９を参照すると、エンコーディング装置は、参照レイヤのピクチャを復号化して格納することができる(Ｓ９１０)。マルチレイヤ構造をサポートするスケーラブルビデオコーディングにおいて、エンコーディング装置は、参照レイヤのピクチャを復号化し、復号化されたピクチャをＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)に格納することができる。復号化される参照レイヤのピクチャは、現在レイヤの復号化対象ピクチャと同じＡＵのピクチャである。

【0366】

参照レイヤのピクチャが現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されない場合、エンコーディング装置は、前記参照レイヤのピクチャに対して参照されないとマーキングすることができる。

【0367】

この場合、エンコーディング装置は、現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されないピクチャに対する情報を、後述する参照情報(例えば、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇ、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｅｍｄ)を介してデコーダ装置に伝達することもできる。

【0368】

エンコーディング装置は、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納することができる。または、エンコーディング装置は、参照されないとマーキングされたピクチャをメモリから除去することもできる。

【0369】

エンコーディング装置は、現在ブロックの予測に対するインターレイヤ参照ピクチャを誘導することができる(Ｓ９２０)。エンコーディング装置は、参照レイヤのピクチャから現在レイヤ内の現在ピクチャの復号化対象ブロック(現在ブロック)に対する参照ピクチャ(インターレイヤ参照ピクチャ)を誘導することができる。この場合、エンコーディング装置は、フェーズ(ｐｈａｓｅ)と解像度を考慮したサンプリングを実行することで、インターレイヤ参照ピクチャを誘導することもできる。

【0370】

エンコーディング装置は、現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されることができるピクチャに基づいてインターレイヤ参照ピクチャを誘導することができる。

【0371】

このとき、現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報は、後述する前記参照情報は前記現在ブロックに対する予測に参照されず、前記現在ブロックに対する予測に参照される前記参照レイヤの他のピクチャに対する予測に参照されないピクチャを特定する情報は、後述する参照情報(例えば、ｉｌｐ_ｆｌａｇ、ｉｌｐ_ｒｅｆ_ｆｌａｇ、ｎｅｅｄ_ｆｏｒ_ｉｌｐ_ｆｌａｇ ｅｍｄ)を介してデコーダ装置に伝達されることもできる。

【0372】

エンコーディング装置は、現在ブロックの予測に利用される参照ピクチャリストを構成することができる(Ｓ９３０)。参照ピクチャリストは、現在スライス(復号化対象スライス)によって、参照ピクチャリストＬ０であってもよく、参照ピクチャリストＬ０と参照ピクチャリストＬ１であってもよい。

【0373】

参照ピクチャリストは、現在ピクチャと同じレイヤ(現在レイヤ)のピクチャと、現在レイヤと他の参照レイヤから誘導された参照ピクチャ(インターレイヤ参照ピクチャ)を含むことができる。このとき、参照ピクチャリストは、一つの参照レイヤから誘導された一つのインターレイヤ参照ピクチャを含むこともでき、二つ以上の参照レイヤから誘導された二つ以上のインターレイヤ参照ピクチャを含むこともできる。

【0374】

エンコーディング装置は、参照ピクチャリストに基づいて現在ブロックに対する予測サンプルを誘導することができる(Ｓ９４０)。エンコーディング装置は、参照ピクチャリストのピクチャのうち少なくとも一つを利用して現在ブロックに対するインター予測を実行することができる。例えば、エンコーディング装置は、参照レイヤから誘導されたインターレイヤ参照ピクチャを利用して現在ブロックに対する予測を実行することができる。

【0375】

エンコーディング装置は、予測サンプルに基づいて復元サンプルを誘導することができる(Ｓ９５０)。エンコーディング装置は、予測サンプルとレジデュアル信号を加えて復元サンプルを誘導することができる。エンコーディング装置は、復元サンプルを現在ブロック単位に誘導することもでき、現在ピクチャ単位に誘導することもできる。

【0376】

エンコーディング装置は、参照情報を送信することができる(Ｓ９６０)。エンコーディング装置は、参照情報を介して、インターレイヤ予測に利用可能な参照レイヤのピクチャに対する情報を伝達することができる。例えば、参照レイヤのピクチャが現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されることができる場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に参照されることができると指示することができる。または、参照レイヤのピクチャが現在ブロックに対する予測に参照されず、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照されない場合、参照情報は、参照レイヤのピクチャがインターレイヤ予測に参照されないと指示することもできる。

【0377】

エンコーディング装置は、スライスセグメントヘッダで対応する現在ピクチャに対する参照情報を送信することができる。または、エンコーディング装置は、ピクチャレベルで現在ピクチャに対する参照情報を送信することもできる。

【0378】

情報の送信ステップにおいて、エンコーディング装置は、参照情報他原本信号と予測信号の差であるレジデュアル情報などを送信することもできる。

【0379】

ここでは、マルチレイヤ構造で現在ブロックに対する予測を含む符号化に対して説明したが、本発明はこれに限定されるものではなく、符号化の具体的な内容は、本明細書で説明した技術的事項を全て含むことができる。

【0380】

図１０は、本発明によるビデオデコーディング装置の動作に対する一例を概略的に説明する流れ図である。

【0381】

図１０を参照すると、デコーディング装置は、参照情報を受信することができる(Ｓ１０１０)。デコーディング装置は、エンコーディング装置から参照レイヤのピクチャがインターレイヤ予測に利用することができるかを指示する参照情報を受信することができる。

【0382】

例えば、参照レイヤのピクチャが現在ブロックに対する予測に参照されることができ、または現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測に参照することができる場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に利用することができると指示することができる。

【0383】

または、参照レイヤのピクチャが現在ブロックに対する予測に参照されず、また、現在ブロックに対する予測に参照される参照レイヤの他のピクチャに対する予測にも参照されない場合、参照情報は、参照レイヤの前記ピクチャがインターレイヤ予測に利用されないと指示することもできる。

【0384】

デコーディング装置は、参照レイヤのピクチャを復号化して格納することができる(Ｓ１０２０)。デコーディング装置は、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングすることができる。

【0385】

デコーディング装置は、参照されないとマーキングされないピクチャを復号化し、または参照されないとマーキングされないピクチャを格納することができる。または、デコーディング装置は、参照されないとマーキングされたピクチャをメモリ(例えば、ＤＰＢ)から除去することができる。

【0386】

デコーディング装置は、現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導することができる(Ｓ１０３０)。デコーディング装置は、参照レイヤの復号化されたピクチャから現在レイヤの現在ブロックに対する予測に参照されるインターレイヤ参照ピクチャを誘導することができる。

【0387】

例えば、デコーディング装置は、参照レイヤのピクチャのうち、インターレイヤ予測に利用されると参照情報が指示したピクチャに基づいてインターレイヤ参照ピクチャを誘導することができる。このとき、デコーディング装置は、一つの参照レイヤから一つのインターレイヤ参照ピクチャを誘導することもでき、複数の参照レイヤから複数のインターレイヤ参照ピクチャを誘導することもできる。

【0388】

このとき、Ｓ１０２０ステップにおいて、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされた場合、デコーディング装置は、参照されないとマーキングされない前記参照レイヤのピクチャからインターレイヤ参照ピクチャを誘導することができる。

【0389】

また、Ｓ１０２０ステップにおいて、インターレイヤ予測に利用されないと参照情報により指示されたピクチャに対して「参照されない(ｕｎｕｓｅｄ ｆｏｒ ｒｅｆｅｒｅｎｃｅ)」とマーキングされ、マーキングされたピクチャがメモリから除去された場合、デコーディング装置は、メモリに残っている参照レイヤのピクチャからインターレイヤ参照ピクチャを誘導することができる。

【0390】

また、デコーディング装置は、現在ピクチャによりインターレイヤ予測に利用することができると指示されたレイヤで、参照情報によりインターレイヤ予測に参照することができると指示されたピクチャからインターレイヤ参照ピクチャを誘導することもできる。

【0391】

このとき、デコーディング装置は、参照レイヤのピクチャのうち、現在ピクチャと同じアクセスユニットに属するピクチャからインターレイヤ参照ピクチャを誘導することができる。

【0392】

デコーディング装置は、現在ブロックのインター予測に利用する参照ピクチャリストを誘導することができる(Ｓ１０４０)。デコーディング装置は、インターレイヤ参照ピクチャ及び現在レイヤの参照ピクチャを含む参照ピクチャリストを構成することができる。

【0393】

参照ピクチャリストは、現在スライス(復号化対象スライス)によって、参照ピクチャリストＬ０であってもよく、参照ピクチャリストＬ０と参照ピクチャリストＬ１であってもよい。

【0394】

参照ピクチャリストは、現在ピクチャと同じレイヤ(現在レイヤ)のピクチャと、現在レイヤと他の参照レイヤから誘導された参照ピクチャ(インターレイヤ参照ピクチャ)を含むことができる。このとき、参照ピクチャリストは、一つの参照レイヤから誘導された一つのインターレイヤ参照ピクチャを含むこともでき、二つ以上の参照レイヤから誘導された二つ以上のインターレイヤ参照ピクチャを含むこともできる。

【0395】

デコーディング装置は、現在ブロックに対する予測サンプルを誘導することができる(Ｓ１０５０)。デコーディング装置は、参照ピクチャリストに基づいて現在レイヤの現在ブロックに対する予測を実行することで、前記現在ブロックに対する予測サンプルを誘導することができる。

【0396】

デコーディング装置は、予測サンプルに基づいて復元サンプルを誘導することができる(Ｓ１０６０)。デコーディング装置は、予測サンプルとレジデュアル信号を加えて復元サンプルを誘導することができる。デコーディング装置は、復元サンプルを現在ブロック単位に誘導することもでき、現在ピクチャ単位に誘導することもできる。

【0397】

本明細書において、ベースレイヤと空間的ベースレイヤを混用して記載し、エンハンスメントレイヤと空間的エンハンスメントレイヤを混用して記載しているが、これは説明の便宜のためのものである。したがって、本発明の実施例は、空間的ベースレイヤと空間的エンハンスメントレイヤに限定されるものではない。空間的ベースレイヤは、ベースレイヤのスケーラビリティとして解像度が適用される場合に対する例として使われたものであり、空間的エンハンスメントレイヤは、エンハンスメントレイヤのスケーラビリティとして解像度が適用される場合に対する例として使われたものである。本発明の実施例は、解像度外、前述したように多様なスケーラビリティ(視点、ビット率、フレーム率等)にも同じく適用されることができることに留意する。

【0398】

本明細書において、説明の便宜のために、インター(レイヤ)予測に参照されるという表現とインター(レイヤ)予測に利用されるという表現、及びインター(レイヤ)予測に必要であるという表現を混用している。この表現は、互いに矛盾または排他的な表現ではなく、二つの表現は、同じ意味を有する表現である。また、この表現に対して含む関係が成立することもありうる。具体的に、インターレイヤ予測に利用されるということとインターレイヤ予測に必要であるということは、予測対象ピクチャ(ブロック)の予測に直接参照されるピクチャの予測に参照されるということを含むことができる。

【0399】

ＮＡＬユニットヘッダとスライスセグメントヘッダに対する一般論

【0400】

利用：間接参照を含む

【0401】

前述した例示的なシステムにおいて、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、前述した実施例は、多様な態様の例示を含むことができるため、各実施例の組合せも本発明の一実施例として理解されなければならない。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正及び変更を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】