特許 6082123 複数のレイヤをサポートする映像符号化／復号化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6082123

(24)【登録日】2017年1月27日

(45)【発行日】2017年2月15日

(54)【発明の名称】複数のレイヤをサポートする映像符号化／復号化方法

(51)【国際特許分類】

   H04N 19/129 20140101AFI20170206BHJP

   H04N 19/176 20140101ALI20170206BHJP

   H04N 19/159 20140101ALI20170206BHJP

   H04N 19/30 20140101ALI20170206BHJP

【ＦＩ】

   H04N19/129

   H04N19/176

   H04N19/159

   H04N19/30

【請求項の数】13

【全頁数】29

(21)【出願番号】特願2015-545367(P2015-545367)

(86)(22)【出願日】2013年11月29日

(65)【公表番号】特表2016-502817(P2016-502817A)

(43)【公表日】2016年1月28日

(86)【国際出願番号】KR2013010992

(87)【国際公開番号】WO2014084656

(87)【国際公開日】20140605

【審査請求日】2015年5月29日

(31)【優先権主張番号】61/731,471

(32)【優先日】2012年11月29日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502032105

【氏名又は名称】エルジー エレクトロニクス インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】キム チュンソン

(72)【発明者】

【氏名】パク チュンヨン

(72)【発明者】

【氏名】キム チョルクン

(72)【発明者】

【氏名】ヘンドリー ヘンドリー

(72)【発明者】

【氏名】チョン ピョンムン

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特表２００９−５１３０５６（ＪＰ，Ａ）

【文献】 特開２００６−２１１３０４（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３６１７４（ＷＯ，Ａ２）

【文献】 Benjamin Bross et al.，High efficiency video coding (HEVC) text specification draft 6，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，8th Meeting: San Jose, CA, USA，２０１２年 ４月，JCTVC-H1003_dK，pp.i-vi, 18-21, 51-53, 88-90，98-102，ＵＲＬ，http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H1003-v22.zip

【文献】 Chulkeun Kim et al.，Description of scalable video coding technology proposal by LG Electronics and MediaTek (differential coding mode on)，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0033_r2，pp.1-38

【文献】 Jianle Chen et al.，Description of scalable video coding technology proposal by Qualcomm (configuration 1)，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0035，pp.1-19

【文献】 Jianle Chen et al.，Description of scalable video coding technology proposal by Qualcomm (configuration 2)，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0036，pp.1-21

【文献】 Do-Kyoung Kwon et al.，Description of scalable video coding technology proposal by Texas Instruments Inc.，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0038_r2，pp.1-10

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

複数のレイヤをサポートする映像復号化方法において、
現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、
前記ビットストリームをエントロピーデコーディングして、スキャン順序(ｓｃａｎ ｏｒｄｅｒ)に基づいて量子化された変換係数の２次元配列を取得するステップと、
変換係数の２次元配列を取得するために前記量子化された変換係数の２次元配列を逆量子化するステップと、
レジデュアルサンプルを導き出すために前記変換係数の２次元配列を逆量子化するステップと、
前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックの予測サンプルを導き出すステップと、
前記予測サンプルと前記レジデュアルサンプルに基づいて再構成したピクチャを生成するステップと、を含み、
前記復号化対象ブロックに適用される前記予測モードがインターレイヤ予測モードであるとき、前記スキャン順序は右上向対角スキャン順序に設定される、映像復号化方法。

【請求項2】

前記復号化対象ブロックに適用された予測モードがインター予測モードのとき、前記スキャン順序は右上向対角スキャン順序に設定される、請求項１に記載の映像復号化方法。

【請求項3】

前記復号化対象ブロックに適用された予測モードがイントラ予測モードのとき、前記スキャン順序は前記復号化対象ブロックの大きさ及び前記復号化対象ブロックがルマサンプルに対するブロックであるかどうかによって導き出される、請求項１に記載の映像復号化方法。

【請求項4】

前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが４×４のとき、または前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８であり、前記復号化対象ブロックがルマサンプルに対するブロックのとき、前記スキャン順序は、前記復号化対象ブロックのイントラ予測モード値によって導き出される、請求項３に記載の映像復号化方法。

【請求項5】

前記復号化対象ブロックに適用された予測モードがイントラ予測モードであり、前記復号化対象ブロックの大きさが８×８より大きいとき、前記スキャン順序は、右上向対角スキャン順序として導き出される、請求項３に記載の映像復号化方法。

【請求項6】

前記復号化対象ブロックのイントラ予測モード値が６から１４のとき、前記スキャン順序は垂直スキャン順序として導き出され、
前記復号化対象ブロックのイントラ予測モード値が２２から３０のとき、前記スキャン順序は水平スキャン順序として導き出され、
前記復号化対象ブロックのイントラ予測モード値が０から５、または１５から２１、または３１から３４のとき、前記スキャン順序は右上向対角スキャン順序として導き出される、請求項４に記載の映像復号化方法。

【請求項7】

複数のレイヤをサポートする映像符号化方法において、
予測サンプルを取得するために現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行するステップと、
前記符号化対象ブロックの変換係数の２次元配列を生成するために前記予測サンプルに基づいて取得されたレジデュアルサンプルの変換を実行するステップと、
量子化された変換係数の２次元配列を生成するために前記変換係数の２次元配列を量子化するステップと、
前記量子化された変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列として前記変換係数の２次元配列を再整列するステップと、
前記変換係数の１次元配列をエントロピーエンコーディングするステップと、を含み、
前記復号対象ブロックに適用された前記予測モードがインターレイヤ予測モードであるとき、前記スキャン順序は右上向対角スキャン順序として設定される、映像符号化方法。

【請求項8】

前記符号化対象ブロックに適用された予測モードがインター予測モードのとき、前記スキャン順序は右上向対角スキャン順序に決定される、請求項７に記載の映像符号化方法。

【請求項9】

前記インターレイヤ予測モードは、インターレイヤ参照ピクチャの動き情報を利用するインターレイヤ動き予測モードである、請求項１に記載の映像復号化方法。

【請求項10】

前記インターレイヤ予測モードは、インターレイヤ参照ピクチャのサンプル情報を利用するインターレイヤサンプル予測モードである、請求項１に記載の映像復号化方法。

【請求項11】

前記インターレイヤ参照ピクチャは、参照レイヤのピクチャをリサンプリングして導き出される、請求項９又は１０に記載の映像復号化方法。

【請求項12】

前記量子化された変換係数の２次元配列は、サブブロックの量子化された変換係数の多数のサブ配列に基づいて導き出され、
量子化された変換係数のそれぞれのサブ配列は、サブブロック単位でのスキャン順序に基づいて導き出される、請求項１１に記載の映像復号化方法。

【請求項13】

前記サブブロックの量子化された変換係数の多数のサブ配列は、サブブロックスキャン順序に基づいて導き出され、
前記サブブロックスキャン順序と前記量子化された変換係数に対する前記スキャン順序は異なる、請求項１２に記載の映像復号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ビデオ圧縮技術に関し、より具体的には、スケーラブルビデオコーディング(Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ；ＳＶＣ)を実行する方法及び装置に関する。

【背景技術】

【0002】

最近、高解像度、高品質の映像に対する要求が多様な応用分野で増加している。映像が高解像度で高品質になるほど該当映像に対する情報量も共に増加している。情報量の増加によって多様な性能の装置と多様な環境のネットワークが登場している。多様な性能の装置と多様な環境のネットワークが登場するにつれて、同じコンテンツが多様な品質で利用可能になった。

【0003】

具体的には、端末装置がサポートできる品質の映像が多様化し、構築されたネットワーク環境が多様化することによって、ある環境では一般的な品質の映像を利用し、他の環境ではより高い品質の映像が利用可能になる。

【0004】

例えば、携帯端末でビデオコンテンツを購買した消費者がホーム内の大画面のディスプレイを介して同じビデオコンテンツをより大きい画面とより高い解像度で鑑賞することができる。

【0005】

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送がサービスされながら、多くのユーザは既に高解像度、高画質の映像に慣れており、サービス提供者とユーザは、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)のサービスにも関心を寄せている。

【0006】

したがって、多様な環境でユーザが要求する映像サービスを品質によって多様に提供するために、高容量ビデオに対する高効率のエンコーディング/デコーディング方法に基づいて映像の品質、例えば、映像の画質、映像の解像度、映像の大きさ、ビデオのフレームレートなどにスケーラビリティを提供することが必要である。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、圧縮効率を上げる方法及び装置を提供する。

【0008】

本発明は、スケーラブルビデオエンコーディング/デコーディングにおいて、変換係数のスキャン方法及び装置を提供する。

【課題を解決するための手段】

【0009】

本発明の一実施形態によると、複数のレイヤをサポートする映像復号化方法が提供される。前記映像復号化方法は、現在レイヤの復号化対象ブロックに対する情報を含むビットストリームを受信するステップと、前記ビットストリームをエントロピーデコーディングして前記復号化対象ブロックに対する変換係数の１次元配列を取得するステップと、前記変換係数の１次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の２次元配列に再整列するステップと、前記変換係数の２次元配列を逆量子化して前記復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得するステップと、前記復号化対象ブロックに対する予測モードに基づいて前記復号化対象ブロックを予測するステップを含む。

【0010】

前記変換係数の２次元配列に再整列するステップでは、前記復号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を誘導する。

【0011】

本発明の他の実施形態によると、複数のレイヤをサポートする映像符号化方法が提供される。前記映像符号化方法は、現在レイヤの符号化対象ブロックに対する予測モードに基づいて予測を実行することで予測サンプルを取得するステップと、前記予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することで前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップと、前記変換係数の２次元配列をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャンして前記変換係数の１次元配列に再整列するステップと、前記変換係数の１次元配列をエントロピーエンコーディングするステップを含む。

【0012】

前記符号化対象ブロックに対する変換係数の２次元配列を生成するステップでは、前記符号化対象ブロックに適用された予測モードに基づいて前記スキャン順序を決定する。

【発明の効果】

【0013】

本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、効果的に変換係数をスキャンして再整列することによって変換及び/またはエントロピーコーディングの効率を上げることができる。

【0014】

本発明によると、スケーラブルビデオエンコーディング/デコーディングにおいて、映像の予測方法によってスキャン順序を決定することができ、それによって、効率的にエンコーディング/デコーディングを実行することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。

【図2】本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。

【図3】本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。

【図4】イントラ予測モードの一例を示す。

【図5】スキャン順序によるスキャン方法を概略的に説明するための図面である。

【図6】本発明が適用されることができるインターレイヤ予測を説明するための図面である。

【図7】本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。

【図8】本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。

【発明を実施するための形態】

【0016】

本発明は、多様な変更を加えることができ、多様な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に対して限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組合せたものの存在または付加可能性を予め排除しないと理解しなければならない。

【0017】

一方、本発明で説明される図面上の各構成は、ビデオエンコーディング装置/デコーディング装置において、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けることもできる。各構成が統合及び/または分離された実施例も、本発明の本質から外れない限り本発明の権利範囲に含まれる。

【0018】

以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対する重複説明は省略する。

【0019】

スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」という)では入力信号をレイヤ別に処理することができる。レイヤによって、入力信号(入力映像)は、解像度(ｒｅｓｏｌｕｔｉｏｎ)、フレームレート(ｆｒａｍｅ ｒａｔｅ)、ビットデプス(ｂｉｔ−ｄｅｐｔｈ)、カラーフォーマット(ｃｏｌｏｒ ｆｏｒｍａｔ)、アスペクト率(ａｓｐｅｃｔ ｒａｔｉｏ)のうち少なくとも一つが異なる。

【0020】

本明細書において、スケーラブルコーディングとは、スケーラブルエンコーディングとスケーラブルデコーディングを含む。

【0021】

スケーラブルエンコーディング/デコーディングではレイヤ間の差を利用して、即ち、スケーラビリティに基づいて、レイヤ間予測を実行することによって、情報の重複送信/処理を減らして圧縮効率を上げることができる。

【0022】

図１は、本発明の一実施例によってスケーラビリティをサポートするビデオエンコーディング装置を概略的に示すブロック図である。

【0023】

図１を参照すると、エンコーディング装置１００は、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含む。

【0024】

レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。

【0025】

レイヤ１のエンコーディング部１０５は、予測部１１０、変換/量子化部１１５、フィルタリング部１２０、ＤＰＢ(Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ)１２５、エントロピーコーディング部１３０、及びＭＵＸ(Ｍｕｌｔｉｐｌｅｘｅｒ)１６５を含む。

【0026】

レイヤ０のエンコーディング部１３５は、予測部１４０、変換/量子化部１４５、フィルタリング部１５０、ＤＰＢ１５５及びエントロピーコーディング部１６０を含む。

【0027】

予測部１１０、１４０は、入力された映像に対してインター予測とイントラ予測を実行することができる。予測部１１０、１４０は、所定の処理単位に予測を実行することができる。予測の実行単位は、コーディングユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ)であってもよく、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ)であってもよく、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ)であってもよい。

【0028】

例えば、予測部１１０、１４０は、ＣＵ単位にインター予測を適用するかまたはイントラ予測を適用するかを決定し、ＰＵ単位に予測のモードを決定し、ＰＵ単位またはＴＵ単位に予測を実行することもできる。実行される予測は、予測ブロックの生成とレジデュアルブロック(レジデュアル信号)の生成を含む。

【0029】

インター予測を介しては現在ピクチャの以前ピクチャ及び/または以後ピクチャのうち少なくとも一つのピクチャの情報に基づいて予測を実行することで予測ブロックを生成することができる。イントラ予測を介しては現在ピクチャ内のピクセル情報に基づいて予測を実行することで予測ブロックを生成することができる。

【0030】

インター予測のモードまたは方法として、スキップ(ｓｋｉｐ)モード、マージ(ｍｅｒｇｅ)モード、ＭＶＰ(Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ)モード方法などがある。インター予測では、予測対象である現在ＰＵに対して参照ピクチャを選択し、参照ピクチャ内で現在ＰＵに対応する参照ブロックを選択することができる。予測部１１０、１４０は、参照ブロックに基づいて予測ブロックを生成することができる。

【0031】

予測ブロックは、整数サンプル単位に生成することもでき、整数以下ピクセル単位に生成することもできる。このとき、動きベクトルも整数ピクセル単位または整数ピクセル以下の単位に表現することができる。

【0032】

インター予測において、動き情報、即ち、参照ピクチャのインデックス、動きベクトル、レジデュアル信号などの情報は、エントロピーエンコーディングされてデコーディング装置に伝達される。スキップモードが適用される場合は、レジデュアルを生成、変換、量子化、送信しない。

【0033】

イントラ予測において、予測モードは、３３個の方向性予測モードと少なくとも２個以上の非方向性モードを有することができる。非向性性モードは、ＤＣ予測モード及びプレーナモード(Ｐｌａｎａｒモード)を含むことができる。イントラ予測では、参照サンプルにフィルタを適用した後、予測ブロックを生成することもできる。

【0034】

ＰＵは、多様なサイズ/形態のブロックであり、例えば、インター予測の場合、ＰＵは、２Ｎ×２Ｎブロック、２Ｎ×Ｎブロック、Ｎ×２Ｎブロック、またはＮ×Ｎブロック(Ｎは、整数)などである。イントラ予測の場合、ＰＵは、２Ｎ×２ＮブロックまたはＮ×Ｎブロック(Ｎは、整数)などである。このとき、Ｎ×Ｎブロック大きさのＰＵは、特定の場合にのみ適用するように設定することができる。例えば、最小大きさＣＵに対してのみＮ×Ｎブロック大きさのＰＵを利用するように定め、またはイントラ予測に対してのみ利用するように定めることもできる。また、前述した大きさのＰＵ外に、Ｎ×ｍＮブロック、ｍＮ×Ｎブロック、２Ｎ×ｍＮブロックまたはｍＮ×２Ｎブロック(ｍ<１)などのＰＵをさらに定義して使用することもできる。

【0035】

また、予測部１１０は、レイヤ０の情報を利用してレイヤ１に対する予測を実行することができる。本明細書では、他のレイヤの情報を利用して現在レイヤの情報を予測する方法を、説明の便宜のために、インターレイヤ予測という。

【0036】

他のレイヤの情報を利用して予測される(即ち、インターレイヤ予測により予測される)現在レイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータ等)などがある。

【0037】

また、現在レイヤに対する予測に利用される(即ち、インターレイヤ予測に利用される)他のレイヤの情報は、テクスチャ、動き情報、ユニット情報、所定のパラメータ(例えば、フィルタリングパラメータなど)がある。

【0038】

インターレイヤ予測の一例として、インターレイヤ動き予測は、インターレイヤインター予測とも呼ばれる。インターレイヤインター予測によると、レイヤ０(参照レイヤまたはベースレイヤ)の動き情報を利用してレイヤ１(現在レイヤまたはエンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。

【0039】

インターレイヤインター予測を適用する場合は、参照レイヤの動き情報をスケーリングすることもできる。

【0040】

インターレイヤ予測の他の例として、インターレイヤテクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。インターレイヤテクスチャ予測は、参照レイヤ内の参照ブロックがイントラ予測により復元された場合に適用することができる。

【0041】

インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。

【0042】

インターレイヤ予測の他の例であるインターレイヤユニットパラメータ予測では、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報を誘導してエンハンスメントレイヤのユニット情報として使用し、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。

【0043】

また、ユニット情報は、各ユニットレベルでの情報を含むことができる。例えば、ＣＵ情報の場合、パーティション(ＣＵ、ＰＵ及び/またはＴＵ)に対する情報、変換に対する情報、予測に対する情報、コーディングに対する情報を含むことができる。ＰＵ情報の場合、ＰＵパーティションに対する情報、予測に対する情報(例えば、動き情報、予測モードに対する情報等)などを含むことができる。ＴＵに対する情報は、ＴＵパーティションに対する情報、変換に対する情報(変換係数、変換方法等)などを含むことができる。

【0044】

また、ユニット情報は、処理単位(例えば、ＣＵ、ＰＵ、ＴＵ等)の分割情報のみを含むことができる。

【0045】

インターレイヤ予測の他の例であるインターレイヤパラメータ予測では、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用するようにし、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。

【0046】

ここでは、インターレイヤ予測の例として、インターレイヤテクスチャ予測、インターレイヤ動き予測、インターレイヤユニット情報予測、インターレイヤパラメータ予測を説明したが、本発明で適用できるインターレイヤ予測は、これに限定されるものではない。

【0047】

例えば、予測部１１０は、インターレイヤ予測として、他のレイヤのレジデュアル情報を利用して現在レイヤのレジデュアルを予測し、これに基づいて現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤレジデュアル予測を利用することもできる。

【0048】

また、予測部１１０は、インターレイヤ予測として、現在レイヤの復元ピクチャと他のレイヤの復元ピクチャをアップサンプリングまたはダウンサンプリングした映像間の差分(差分映像)映像を利用して現在レイヤ内の現在ブロックに対する予測を実行するインターレイヤ差分予測を実行することもできる。

【0049】

また、予測部１１０は、インターレイヤ予測として、他のレイヤのシンタックス情報を利用して現在ブロックのテクスチャを予測し、または生成するインターレイヤシンタックス予測を利用することもできる。このとき、現在ブロックの予測に利用する参照レイヤのシンタックス情報は、イントラ予測モードに対する情報、動き情報などである。

【0050】

このとき、参照レイヤでイントラ予測モードが適用されたブロック(ｉｎｔｒａ)からはイントラ予測モードを参照し、インター予測モードが適用されたブロック(ＭＶ)からは動き情報を参照することで、インターレイヤシンタックス予測を実行することができる。

【0051】

例えば、参照レイヤがＰスライスやＢスライスであるが、スライス内の参照ブロックは、イントラ予測モードが適用されたブロックである場合がある。このような場合、インターレイヤシンタックス予測を適用すると、参照レイヤのシンタックス情報のうち、参照ブロックのイントラ予測モードを利用して現在ブロックに対するテクスチャを生成/予測するインターレイヤ予測を実行することができる。

【0052】

前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個が利用されることもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応するレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。

【0053】

変換/量子化部１１５、１４５は、変換ブロック単位にレジデュアルブロックに対する変換を実行することで、変換係数を生成し、変換係数を量子化することができる。

【0054】

変換ブロックは、サンプルの方形ブロックであって、同じ変換が適用されるブロックである。変換ブロックは、変換ユニット(ＴＵ)であってもよく、クワッドツリー(ｑｕａｄ ｔｒｅｅ)構造を有することができる。

【0055】

変換/量子化部１１５、１４５は、レジデュアルブロックに適用された予測モードとブロックの大きさによって変換を実行することで、変換係数の２次元アレイを生成することができる。例えば、レジデュアルブロックにイントラ予測が適用され、ブロックが４×４のレジデュアル配列の場合は、レジデュアルブロックをＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換し、その他の場合は、レジデュアルブロックをＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)を利用して変換することができる。

【0056】

変換/量子化部１１５、１４５は、変換係数を量子化することで、量子化された変換係数を生成することができる。

【0057】

変換/量子化部１１５、１４５は、量子化された変換係数をエントロピーコーディング部１３０、１８０に伝達することができる。このとき、変換/量子化部１４５は、量子化された変換係数の２次元アレイを、所定のスキャン順序によって、１次元アレイに再整列してエントロピーコーディング部１３０、１８０に伝達することもできる。また、変換/量子化部１１５、１４５は、インター予測のためにレジデュアルと予測ブロックに基づいて生成された復元ブロックを変換/量子化せずに、フィルタリング部１２０、１５０に伝達することができる。

【0058】

一方、変換/量子化部１１５、１４５は、必要によって、変換を省略(ｓｋｉｐ)して量子化のみを実行し、または変換と量子化を両方とも省略することもできる。例えば、変換/量子化部１１５、１６５は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

【0059】

エントロピーコーディング部１３０、１６０は、量子化された変換係数に対するエントロピーエンコーディングを実行することができる。エントロピーエンコーディングには、例えば、指数ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)などのようなエンコーディング方法を使用することができる。

【0060】

フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)を復元されたピクチャに適用することができる。

【0061】

デブロッキングフィルタは、復元されたピクチャからブロック間の境界に発生した歪曲を除去することができる。ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)は、デブロッキングフィルタを介してブロックがフィルタリングされた後、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。ＳＡＯは、デブロッキングフィルタが適用されたレジデュアルブロックに対し、ピクセル単位に原映像とのオフセット差を復元し、バンドオフセット(Ｂａｎｄ Ｏｆｆｓｅｔ)、エッジオフセット(Ｅｄｇｅ Ｏｆｆｓｅｔ)などの形態に適用される。

【0062】

フィルタリング部１２０、１５０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。

【0063】

ＤＰＢ１２５、１５５は、フィルタリング部１２０、１５０から復元ブロックまたは復元ピクチャの伝達を受けて格納することができる。ＤＰＢ１２５、１５５は、復元ブロックまたはピクチャを、インター予測を実行する予測部１１０、１４０に提供することができる。

【0064】

レイヤ０のエントロピーコーディング部１６０で出力される情報とレイヤ１のエントロピーコーディング部１３０で出力される情報は、ＭＵＸ１８５でマルチプレキシングされてビットストリームで出力されることができる。

【0065】

一方、ここでは、説明の便宜のために、レイヤ１のエンコーディング部１０５がＭＵＸ１６５を含むと説明したが、ＭＵＸは、レイヤ１のエンコーディング部１０５及びレイヤ０のエンコーディング部１３５とは別途の装置またはモジュールであってもよい。

【0066】

また、図１の例では、スケーラビリティをサポートするビデオエンコーディング装置１００がレイヤ別にエンコーディングを実行するために、レイヤ１に対するエンコーディング部１０５とレイヤ０に対するエンコーディング部１３５を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオエンコーディング装置は、各レイヤに対するエンコーディング部を含まずに、レイヤ１に対するエンコーディング部１０５(または、レイヤ０に対するエンコーディング部１３５)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するエンコーディングを実行することもできる。

【0067】

図２は、本発明の一実施例によってスケーラビリティをサポートするビデオデコーディング装置を概略的に示すブロック図である。

【0068】

図２を参照すると、デコーディング装置２００は、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含む。

【0069】

レイヤ０は、ベースレイヤ、参照レイヤまたは下位レイヤであり、レイヤ１は、エンハンスメントレイヤ、現在レイヤまたは上位レイヤである。

【0070】

レイヤ１のデコーディング部２１０は、エントロピーデコーディング部２１５、再整列部２２０、逆量子化部２２５、逆変換部２３０、予測部２３５、フィルタリング部２４０、メモリ２４５を含むことができる。

【0071】

レイヤ０のデコーディング部２５０は、エントロピーデコーディング部２５５、再整列部２６０、逆量子化部２６５、逆変換部２７０、予測部２７５、フィルタリング部２８０、メモリ２８５を含むことができる。

【0072】

エンコーディング装置から映像情報を含むビットストリームが送信されると、ＤＥＭＵＸ２０５は、レイヤ別に情報をデマルチプレキシングして各レイヤ別のデコーディング装置に伝達することができる。

【0073】

エントロピーデコーディング部２１５、２５５は、エンコーディング装置で使用したエントロピーコーディング方式に対応してエントロピーデコーディングを実行することができる。例えば、エンコーディング装置でＣＡＢＡＣが使われた場合、エントロピーデコーディング部２１５、２５５もＣＡＢＡＣを利用してエントロピーデコーディングを実行することができる。

【0074】

エントロピーデコーディング部２１５、２５５でデコーディングされた情報のうち、予測ブロックを生成するための情報は、予測部２３５、２７５に提供され、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングが実行されたレジデュアル値、即ち、量子化された変換係数は、再整列部２２０、２６０に入力することができる。

【0075】

再整列部２２０、２６０は、エントロピーデコーディング部２１５、２５５でエントロピーデコーディングされたビットストリームの情報、即ち、量子化された変換係数をエンコーディング装置で再整列した方法に基づいて再整列することができる。

【0076】

例えば、再整列部２２０、２６０は、１次元アレイの量子化された変換係数を再び２次元アレイの係数に再整列することができる。再整列部２２０、２６０は、現在ブロック(変換ブロック)に適用された予測モード及び/または変換ブロックの大きさに基づいてスキャニングを実行することで、係数(量子化された変換係数)の２次元アレイを生成することができる。

【0077】

逆量子化部２２５、２６５は、エンコーディング装置で提供された量子化パラメータと再整列されたブロックの係数値に基づいて逆量子化を実行することで、変換係数を生成することができる。

【0078】

逆量子化部２２５、２６５は、所定の条件によってまたはエンコーディング装置での量子化方式によって、エントロピーデコーディングされたレジデュアルを逆量子化せずに、逆変換部２３０、２７０に伝達することもできる。

【0079】

逆変換部２３０、２７０は、変換係数に対してエンコーディング装置の変換部が実行した変換に対する逆変換を実行することができる。逆変換部２３０、２７０は、エンコーディング装置で実行されたＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)及びＤＳＴ(Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)に対して逆ＤＣＴ及び/または逆ＤＳＴを実行することができる。

【0080】

エンコーディング装置において、ＤＣＴ及び/またはＤＳＴは、予測方法、現在ブロックの大きさ及び予測方向など、複数の情報によって選択的に実行することができ、デコーディング装置の逆変換部２３０、２７０は、エンコーディング装置で実行された変換情報に基づいて逆変換を実行することができる。

【0081】

例えば、逆変換部２３０、２７０は、予測モード/ブロック大きさによって逆ＤＣＴと逆ＤＳＴを適用することができる。例えば、逆変換部２３０、２７０は、イントラ予測が適用された４×４ルマブロックに対して逆ＤＳＴを適用することもできる。

【0082】

また、逆変換部２３０、２７０は、予測モード/ブロック大きさに関係なく、特定の逆変換方法を固定的に使用することもできる。例えば、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＳＴのみを適用することができる。また、逆変換部２３０、２７０は、全ての変換ブロックに逆ＤＣＴのみを適用することもできる。

【0083】

逆変換部２３０、２７０は、変換係数または変換係数のブロックを逆変換してレジデュアルまたはレジデュアルブロックを生成することができる。

【0084】

また、逆変換部２３０、２７０は、必要によってまたはエンコーディング装置でエンコーディングされた方式によって、変換を省略(ｓｋｉｐ)することもできる。例えば、逆変換部２３０、２７０は、特定の予測方法が適用され、または特定の大きさを有するブロック、または特定の予測ブロックが適用された特定の大きさのブロックに対して変換を省略することもできる。

【0085】

予測部２３５、２７５は、エントロピーデコーディング部２１５、２５５から伝達された予測ブロック生成関連情報と、メモリ２４５、２８５で提供された以前にデコーディングされたブロック及び/またはピクチャ情報に基づいて現在ブロックに対する予測ブロックを生成することができる。

【0086】

現在ブロックに対する予測モードがイントラ予測(ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャ内のピクセル情報に基づいて現在ブロックに対するイントラ予測を実行することができる。

【0087】

現在ブロックに対する予測モードがインター予測(ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ)モードの場合、予測部２３５、２７５は、現在ピクチャの以前ピクチャまたは以後ピクチャのうち少なくとも一つのピクチャに含まれている情報に基づいて現在ブロックに対するインター予測を実行することができる。インター予測に必要な動き情報の一部または全部は、エンコーディング装置から受信した情報を確認し、これに対応して誘導することができる。

【0088】

インター予測のモードとしてスキップモードが適用される場合は、エンコーディング装置からレジデュアルが送信されず、予測ブロックを復元ブロックにすることができる。

【0089】

一方、レイヤ１の予測部２３５は、レイヤ１内の情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤ(レイヤ０)の情報を利用してインターレイヤ予測を実行することもできる。

【0090】

例えば、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち一つを利用して現在ブロックに対する予測を実行することができる。また、レイヤ１の予測部２３５は、レイヤ１の動き情報、レイヤ１のテクスチャ情報、レイヤ１のユニット情報、レイヤ１のパラメータ情報のうち複数の情報を利用して現在ブロックに対する予測を実行することもできる。

【0091】

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１の動き情報の伝達を受けて動き予測を実行することができる。インターレイヤ動き予測をインターレイヤインター予測とも呼ばれる。インターレイヤ動き予測により、参照レイヤ(ベースレイヤ)の動き情報を利用して現在レイヤ(エンハンスメントレイヤ)の現在ブロックに対する予測を実行することができる。予測部２３５は、必要な場合、参照レイヤの動き情報をスケーリングして利用することもできる。

【0092】

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のテクスチャ情報の伝達を受けてテクスチャ予測を実行することができる。テクスチャ予測は、インターレイヤイントラ予測またはイントラＢＬ(Ｂａｓｅ Ｌａｙｅｒ)予測とも呼ばれる。テクスチャ予測は、参照レイヤの参照ブロックがイントラ予測により復元された場合に適用されることができる。インターレイヤイントラ予測では、参照レイヤ内の参照ブロックのテクスチャをエンハンスメントレイヤの現在ブロックに対する予測値として使用することができる。このとき、参照ブロックのテクスチャは、アップサンプリングによりスケーリングすることができる。

【0093】

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のユニットパラメータ情報の伝達を受けてユニットパラメータ予測を実行することができる。ユニットパラメータ予測により、ベースレイヤのユニット(ＣＵ、ＰＵ及び/またはＴＵ)情報がエンハンスメントレイヤのユニット情報として使われ、またはベースレイヤのユニット情報に基づいてエンハンスメントレイヤのユニット情報を決定することができる。

【0094】

レイヤ１の予測部２３５は、レイヤ０の予測部２７５からレイヤ１のフィルタリングに対するパラメータ情報の伝達を受けてパラメータ予測を実行することができる。パラメータ予測により、ベースレイヤで使用したパラメータを誘導してエンハンスメントレイヤで再使用し、またはベースレイヤで使用したパラメータに基づいてエンハンスメントレイヤに対するパラメータを予測することができる。

【0095】

前述したインターレイヤを利用した多様な予測方法は、特定のブロックに対する予測時、複数個を利用することもできる。例えば、現在ブロックを予測するために、レイヤ０の予測情報を利用しながら、対応されるレイヤ０または対応ブロックのユニット情報またはフィルタリングパラメータ情報などを追加的に利用することができる。このようなインターレイヤ予測方法の結合は、本明細書の以下で説明される予測にも適用することができる。

【0096】

加算器２９０、２９５は、予測部２３５、２７５で生成された予測ブロックと逆変換部２３０、２７０で生成されたレジデュアルブロックとを利用して復元ブロックを生成することができる。この場合、加算器２９０、２９５は、復元ブロックを生成する別途のユニット(復元ブロック生成部)と見ることができる。

【0097】

加算器２９０、２９５で復元されたブロック及び/またはピクチャは、フィルタリング部２４０、２８０に提供することができる。

【0098】

フィルタリング部２４０、２８０は、復元されたブロック及び/またはピクチャにデブロッキングフィルタリング、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)及び/またはＡＬＦなどを適用することができる。

【0099】

フィルタリング部２４０、２８０は、デブロッキングフィルタ、ＡＬＦ、ＳＡＯを全て適用せずに、デブロッキングフィルタのみを適用し、またはデブロッキングフィルタとＡＬＦのみを適用し、またはデブロッキングフィルタとＳＡＯのみを適用することもできる。

【0100】

図２の例を参照すると、レイヤ１のフィルタリング部２４０は、レイヤ１の予測部２３５及び/またはレイヤ１のフィルタリング部２８０から伝達されるパラメータ情報を利用して復元されたピクチャに対するフィルタリングを実行することもできる。例えば、レイヤ１のフィルタリング部２４０は、レイヤ０で適用されたフィルタリングのパラメータから予測されたパラメータを利用してレイヤ１に対するまたはレイヤ間のフィルタリングを適用することができる。

【0101】

メモリ２４５、２８５は、復元されたピクチャまたはブロックを格納して参照ピクチャまたは参照ブロックとして使用可能にする。メモリ２４５、２８５は、格納された復元ピクチャを所定の出力部(図示せず)またはディスプレイ(図示せず)を介して出力することもできる。

【0102】

図２の例では、再整列部、逆量子化部、逆変換部などに分けて説明したが、図１のエンコーディング装置のように、逆量子化/逆変換部の一モジュールで再整列、逆量子化、逆変換を順序通りに実行するようにデコーディング装置を構成することもできる。

【0103】

また、図２の例では、スケーラビリティをサポートするビデオデコーディング装置２００がレイヤ別にデコーディングを実行するために、レイヤ１のデコーディング部２１０とレイヤ０のデコーディング部２５０を含むと示したが、本発明がこれに限定されるものではない。スケーラビリティをサポートするビデオデコーディング装置は、各レイヤに対するデコーディング部を含まずに、レイヤ１のデコーディング部２１０(または、レイヤ０のデコーディング部２５０)に含まれているモジュールのみで構成されてスケーラビリティをサポートするための複数のレイヤに対するデコーディングを実行することもできる。

【0104】

図１及び図２の例では、予測部として説明したが、発明の理解を容易にするために、レイヤ１の予測部は、他のレイヤ(レイヤ０)の情報を利用して予測を実行するインターレイヤ予測部と、他のレイヤ(レイヤ０)の情報を利用せずに予測を実行するインター/イントラ予測部と、を含むと見ることもできる。

【0105】

図３は、本発明が適用されることができる複数レイヤを利用したスケーラブルビデオコーディング構造の一例を概略的に示す概念図である。図３において、ＧＯＰ(Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ)は、ピクチャ群、即ち、ピクチャのグループを示す。

【0106】

映像データを送信するためには送信媒体が必要であり、その性能は、多様なネットワーク環境によって送信媒体別に異なる。このような多様な送信媒体またはネットワーク環境への適用のために、スケーラブルビデオコーディング方法を提供することができる。

【0107】

スケーラビリティをサポートするビデオコーディング方法(以下、「スケーラブルコーディング」または「スケーラブルビデオコーディング」という)は、レイヤ(または、階層、ｌａｙｅｒ)間のテクスチャ情報、動き情報、残余信号などを活用してレイヤ間重複性を除去することで、エンコーディング及びデコーディング性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、送信ビット率、送信エラー率、システムリソースなどの周辺条件によって、空間的(ｓｐａｔｉａｌ)、時間的(ｔｅｍｐｏｒａｌ)、画質的(または、品質的、ｑｕａｌｉｔｙ)観点で多様なスケーラビリティを提供することができる。

【0108】

スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供することができるように、複数階層(ｍｕｌｔｉｐｌｅ ｌａｙｅｒｓ)構造を使用して実行することができる。例えば、スケーラブルビデオコーディング構造は、一般的な映像デコーディング方法を利用して映像データを圧縮して処理するベースレイヤ(または、基本階層、ｂａｓｅ ｌａｙｅｒ)を含むことができ、ベースレイヤのデコーディング情報及び一般的な映像デコーディング方法を共に使用して映像データを圧縮処理するエンハンスメントレイヤ(または、向上階層、ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)を含むことができる。

【0109】

ここで、レイヤ(ｌａｙｅｒ)は、空間(ｓｐａｔｉａｌ、例えば、映像の大きさ)、時間(ｔｅｍｐｏｒａｌ、例えば、デコーディング順序、映像出力順序、フレームレート)、画質、複雑度などを基準にして区分される映像及びビットストリーム(ｂｉｔｓｔｒｅａｍ)の集合を意味する。

【0110】

本明細書において、ベースレイヤ(ｂａｓｅ ｌａｙｅｒ)は、基本階層または下位階層(ｌｏｗｅｒ ｌａｙｅｒ)とも呼ばれる。また、エンハンスメントレイヤ(ｅｎｈａｎｃｅｍｅｎｔ ｌａｙｅｒ)は、向上階層または上位階層(ｈｉｇｈｅｒ ｌａｙｅｒ)とも呼ばれる。下位階層は、特定階層より低いスケーラビリティをサポートする階層を意味し、上位階層は、特定階層より高いスケーラビリティをサポートする階層を意味する。特定階層が符号化または復号化時に参照する階層は、参照階層とも呼ばれる。

【0111】

図３を参照すると、例えば、ベースレイヤは、ＳＤ(ｓｔａｎｄａｒｄ ｄｅｆｉｎｉｔｉｏｎ)、１５Ｈｚのフレーム率、１Ｍｂｐｓビット率により定義することができ、第１のエンハンスメントレイヤは、ＨＤ(ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、３０Ｈｚのフレーム率、３.９Ｍｂｐｓビット率により定義することができ、第２のエンハンスメントレイヤは、４Ｋ−ＵＨＤ(ｕｌｔｒａ ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ)、６０Ｈｚのフレーム率、２７.２Ｍｂｐｓビット率により定義することができる。

【0112】

前記フォーマット(ｆｏｒｍａｔ)、フレーム率、ビット率等は、一つの実施例に過ぎず、必要によって決めることができる。また、使われる階層の数も本実施例に限定されるものではなく、状況によって決めることができる。例えば、送信帯域幅が４Ｍｂｐｓの場合、前記第１のエンハンスメントレイヤＨＤのフレームレートを減らして１５Ｈｚ以下に送信することができる。

【0113】

スケーラブルビデオコーディング方法は、前記図３の実施例で詳述した方法により時間的、空間的、画質的スケーラビリティを提供することができる。

【0114】

本明細書において、スケーラブルビデオコーディングは、エンコーディング観点ではスケーラブルビデオエンコーディング、デコーディング観点ではスケーラブルビデオデコーディングと同じ意味を有する。

【0115】

一方、前述したように、エンコーディング装置は、クワッドツリー構造(ｑｕａｄ ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)を有する変換ブロック単位に変換を実行する。変換対象ブロックに適用された予測モードと変換ブロックの大きさに基づいてどのような変換が適用されるかを決定することができる。例えば、現在ブロック(変換ブロック)に適用された予測モードがイントラ予測モードかまたはインター予測モードか、そして現在ブロック(変換ブロック)の大きさによって適用する変換方式が異なる。

【0116】

エンコーディング装置は、２次元の量子化された情報(例えば、２次元の量子化された変換係数配列)をスキャニングして１次元の量子化された変換係数配列に再整列することができる。エンコーディング装置は、１次元の量子化された変換係数配列をエントロピーエンコーディングしてデコーディング装置に送信することができる。

【0117】

デコーディング装置は、エンコーディング装置から受信した情報をエントロピーデコーディングして１次元の量子化された変換係数配列を生成することができる。デコーディング装置は、１次元の量子化された変換係数配列をスキャニングして２次元の量子化された変換係数配列に再整列することができる。デコーディング装置は、２次元の量子化された変換係数配列を逆量子化して変換係数ブロックを生成することができる。

【0118】

即ち、エンコーディング装置で実行する再整列は、スキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応して配列された２次元の量子化された変換係数をスキャン順序(ｓｃａｎ ｏｒｄｅｒ)によってスキャニングして１次元配列の量子化された変換係数で構成することができる。

【0119】

デコーディング装置で実行する再整列は、１次元配列の量子化された変換係数をスキャン順序によってスキャニングしてスキャニング処理対象ブロック(例えば、変換ブロック)のサンプル(ピクセル)位置に対応する２次元配列の量子化された変換係数で構成することができる。

【0120】

スキャニングは、変換ブロックの大きさ、スキャン順序、及びスキャン開始位置のうち少なくとも一つにより決定することができる。

【0121】

例えば、同じ変換を実行するサンプルのブロックである変換ブロックに対して、

【0122】

(１)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが４×４の場合、または(２)変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対する変換ブロックの場合、

【0123】

イントラ予測モードが６以上１４以下の場合、スキャン順序は垂直スキャン順序(ｖｅｒｔｉｃａｌ ｓｃａｎ ｏｒｄｅｒ)であり、イントラ予測モードが２２以上３０以下の場合、スキャン順序は水平スキャン順序(ｈｏｒｉｚｏｎａｔａｌ ｓｃａｎ ｏｒｄｅｒ)である。イントラ予測モードが０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序(ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎ ｏｒｄｅｒ)である。

【0124】

また、前記の場合ではなく、変換ブロックに適用された予測モードがインター予測モードの場合、スキャン順序は右上向対角スキャン順序である。また、変換ブロックに適用された予測モードがイントラ予測モードであり、変換ブロックの大きさが８×８より大きい場合(例えば、変換ブロックの大きさが１６×１６、３２×３２の場合)、スキャン順序は右上向対角スキャン順序である。

【0125】

図４は、イントラ予測モードの一例を示す。各イントラ予測モードには互いに異なるモード番号を割り当てることができる。

【0126】

図４に示すように、６以上１４以下のイントラ予測モードは、水平方向の予測モードであり、２２以上３０以下のイントラ予測モードは、垂直方向の予測モードである。６以上１４以下または２２以上３０以下のイントラ予測モードでない場合は、非方向性の予測モード、または水平方向でない予測モード、または垂直方向でない予測モードである。

【0127】

したがって、前記例では、(１)変換ブロックに適用された予測モードがイントラ予測モードの場合、(ｉ)変換ブロックの大きさが４×４であり、または(ii)変換ブロックの大きさが８×８であり、変換ブロックがルマサンプルに対するものの時、イントラ予測モードが水平方向の予測モードであると、垂直スキャン順序が適用され、イントラ予測モードが垂直方向の予測モードであると、水平方向のスキャン順序が適用される。(２)その他の場合、即ち、イントラ予測モードが非方向性、または水平方向でない予測モード、または垂直方向でない予測モードの場合、右上向対角スキャン順序が適用される。

【0128】

垂直スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を垂直方向にスキャンする。

【0129】

即ち、垂直スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最上側行に位置する量子化された変換係数から同じ列に沿って下方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最も左側列から順序通りに右側列に対して進行することができる。または、スキャンは、スキャン対象ブロックの最も右側列から順序通りに左側列に対して進行することもできる。

【0130】

２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。

【0131】

垂直スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で垂直方向に再整列することができる。

【0132】

即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、垂直スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックが生成されることができる。

【0133】

垂直スキャン順序によって、２次元配列(変換ブロック)の最上側行から同じ列に沿って下方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の最も左側列から順序通りに右側列に対して進行することもでき、最も右側列から順序通りに左側列に対して進行することもできる。

【0134】

水平スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を水平方向にスキャンする。

【0135】

即ち、水平スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)の最も左側列に位置する量子化された変換係数から同じ行に沿って右方に量子化された変換係数をスキャンすることができる。このとき、スキャンは、スキャン対象ブロックの最上側行から順序通りに下側行に対して進行することができる。または、スキャンは、スキャン対象ブロックの最下側行から順序通りに上側行に対して進行することもできる。

【0136】

２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。

【0137】

水平スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で水平方向に再整列することができる。

【0138】

即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、水平スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。

【0139】

水平スキャン順序によって、２次元配列(変換ブロック)の最も左側列から同じ行に沿って右方に量子化された変換係数を配置することができる。再配置は、エンコーディング装置で実行された順序によって、２次元配列の最上側行から順序通りに下側行に対して進行することもでき、最下側行から順序通りに上側行に対して進行することもできる。

【0140】

右上向対角スキャン順序が適用されると、エンコーディング装置では、変換ブロック内の量子化された変換係数を右上向対角方向にスキャンすることができる。

【0141】

即ち、右上向対角スキャン順序の場合、エンコーディング装置は、スキャン対象ブロック(例えば、変換ブロック)内の量子化された変換係数の対角配列に対して最も左下側の量子化された変換係数から最も右上側の量子化された変換係数までスキャンすることができる。対角配列のスキャンは、スキャン対象ブロック内の左上側対角配列から順序通りに右下側に対して進行することもでき、スキャン対象ブロック内の右下側対角配列から順序通りに左上側に対して進行することもできる。

【0142】

２次元配列のスキャン対象ブロック(例えば、変換ブロック)でスキャンされた量子化された変換係数は、スキャンされた順序によって１次元の量子化された変換係数配列に再整列することができる。

【0143】

右上向対角スキャン順序が適用されると、デコーディング装置では、量子化された変換係数をスキャンして変換ブロック内で右上向対角方向に再整列することができる。

【0144】

即ち、デコーディング装置は、１次元の変換係数を順序通りにスキャンし、右上向対角スキャン順序によって２次元配列に再配置することができる。それによって、量子化された変換係数で構成された変換ブロックを生成することができる。

【0145】

右上向対角スキャン順序によって、２次元配列(変換ブロック)の対角配列で左下側から同じ対角配列に沿って右上側に量子化された変換係数を再配置することができる。再配置は、エンコーディング装置で実行した順序によって、２次元配列の左上側対角配列から順序通りに右下側対角配列に対して進行することもでき、右下側対角配列から順序通りに左上側対角配列に対して進行することもできる。

【0146】

図５は、スキャン順序によるスキャン方法を概略的に説明するための図面である。

【0147】

図５の(ａ)は、ｎ×ｍ(ｎ及びｍは、整数)大きさの変換ブロック内に配置された量子化された変換係数の２次元配列を概略的に示す。

【0148】

図５の(ａ)を参照すると、各サンプル(ピクセル)位置に対応して量子化された変換係数Ｃが配列されている。例えば、変換ブロック内のａ番目の行及びｂ番目の列の位置に変換係数Ｃ_a,bが配列されている。

【0149】

図５の(ｂ)は、水平スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。

【0150】

図５の(ａ)及び図５の(ｂ)を参照すると、水平スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の行でＣ_0,0→Ｃ_0,1→...→Ｃ_0,n-1の順序に量子化された変換係数をスキャンし、次の行でＣ_1,0→Ｃ_1,1→...→Ｃ_1,n-1の順序に量子化された変換係数をスキャンすることができる。行毎に平行にスキャンを進行し、一つの行で水平スキャンが終了すると、次の行で水平スキャンを進行することができる。

【0151】

水平スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を水平スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配置することができる。

【0152】

例えば、図５の(ｂ)において、量子化された変換係数列の端から前方に(即ち、Ｃ_m-1,n-1→Ｃ_0,0方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣ_m-1,n-1→Ｃ_m-1,n-2→...→Ｃ_m-1,1→Ｃ_m-1,0の位置に順序通りに配列し、Ｃ_m-1,0の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(上側行に変えて)右側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ_0,n-1→...→Ｃ_0,2→Ｃ_0,1→Ｃ_0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)が生成されることができる。

【0153】

図５の(ｂ)において、量子化された変換係数列の前から後方に(即ち、Ｃ_0,0→Ｃ_m-1,n-1方向に)スキャンする場合、デコーディング装置は、水平スキャン順序によって、図５の(ａ)の２次元配列のようにＣ_0,0→Ｃ_0,1→...→Ｃ_0,n-1の位置に順序通りに配列し、Ｃ_0,n-1の次にスキャンされるｎ個の量子化された変換係数は、行を変えて(下側行に変えて)左側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ_m-1,0→Ｃ_m-1,1→Ｃ_m-1,2→...→Ｃ_m-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。

【0154】

図５の(ｃ)は、垂直スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。

【0155】

図５の(ａ)及び図５の(ｃ)を参照すると、垂直スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の１番目の列でＣ_0,0→Ｃ_1,0→...→Ｃ_m-1,0の順序に量子化された変換係数をスキャンし、次の列でＣ_0,1→Ｃ_1,1→...→Ｃ_m-1,1の順序に量子化された変換係数をスキャンすることができる。列毎に垂直にスキャンを進行し、一つの列で垂直スキャンが終了すると、次の列で垂直スキャンを進行することができる。

【0156】

垂直スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を垂直スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。

【0157】

例えば、図５の(ｃ)において、量子化された変換係数列の端から前方に(即ち、Ｃ_m-1,n-1→Ｃ_0,0方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣ_m-1,n-1→Ｃ_m-2,n-1→...→Ｃ_1,n-1→Ｃ_0,n-1の位置に順序通りに配列し、Ｃ_0,n-1の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(左側列に変えて)下側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ_m-1,0→...→Ｃ_2,0→Ｃ_1,0→Ｃ_0,0までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。

【0158】

図５の(ｃ)において、量子化された変換係数列の前から後方に(即ち、Ｃ_0,0→Ｃ_m-1,n-1方向に)スキャンする場合、デコーディング装置は、垂直スキャン順序によって、図５の(ａ)の２次元配列のようにＣ_0,0→Ｃ_1,0→Ｃ_2,0→...→Ｃ_m-1,0の位置に順序通りに配列し、Ｃ_m-1,0の次にスキャンされるｍ個の量子化された変換係数は、列を変えて(右側列に変えて)上側から順序通りに配列することができる。続く量子化された変換係数のスキャン及び再整列によりＣ_0,n-1→Ｃ_1,n-1→Ｃ_2,n-1→...→Ｃ_m-1,n-1までスキャン及び再整列されてｎ×ｍ大きさの量子化された変換係数の２次元配列(例えば、変換ブロック)を生成することができる。

【0159】

図５の(ｄ)は、右上向対角スキャン順序が適用された場合、図５の(ａ)に示す２次元の量子化された変換係数配列に対応する１次元配列の例を示す。

【0160】

図５の(ａ)及び図５の(ｄ)を参照すると、右上向対角スキャン順序が適用される場合、エンコーディング装置は、ｎ×ｍ大きさの変換ブロック内の対角列順序によって１番目の対角列の量子化された変換係数を右上向にスキャンし、順序通りに次の対角列の量子化された変換係数を右上向にスキャンする。例えば、図５の(ａ)を参照すると、変換ブロック内の１番目の対角列には量子化された変換係数がＣ_0,0しかないため、Ｃ_0,0をスキャンし、次の対角列でＣ_1,0→Ｃ_0,1の順序に量子化された変換係数をスキャンし、その次の対角列でＣ_2,0→Ｃ_1,1→Ｃ_0,2の順序に量子化された変換係数をスキャンすることができる。順序通りに対角列の量子化された変換係数がスキャンされて最後の量子化された変換係数Ｃ_m-1,n-1がスキャンされる。

【0161】

エンコーディング装置は、右上向対角スキャン順序によって量子化された変換係数のスキャンを実行することで、図５の(ｄ)のような１次元の量子化された変換係数列を生成する。１次元の量子化された変換係数列は、前述した右上向対角スキャン順序によって、先にスキャンされた係数を前方に位置させると、図示されているように(Ｃ_m-1,n-1...Ｃ_0,2 Ｃ_1,1 Ｃ_2,0 Ｃ_0,1 Ｃ_1,0 Ｃ_0,0)の順序を有する。

【0162】

右上向対角スキャン順序が適用される場合、デコーディング装置は、ｎ×ｍ長さの量子化された変換係数配列から順序通りに読み込んだ量子化された変換係数を右上向対角スキャン順序によってｎ×ｍ大きさの変換ブロック内の２次元配列に配列する。

【0163】

例えば、図５の(ｄ)のような量子化された変換係数の１次元配列を量子化された変換係数列の前から後方に(即ち、Ｃ_0,0→Ｃ_m-1,n-1方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も左上側に位置する対角列に先に配置することができ、右下側方向の対角列に順序通りに配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。

【0164】

即ち、図５の(ａ)の２次元配列を参照すると、Ｃ_0,0→Ｃ_1,0→Ｃ_0,1→Ｃ_2,0→Ｃ_1,1→Ｃ_0,2→...→Ｃ_m-1,n-2→Ｃ_m-2,n-1→Ｃ_m-1,n-1の順序通りに配列することができる。

【0165】

図５の(ｄ)において、量子化された変換係数列の端から前方に(即ち、Ｃ_m-1,n-1→Ｃ_0,0方向に)スキャンする場合、デコーディング装置は、スキャンした量子化された変換係数を右上向対角スキャン順序によって２次元配列の対角列に沿って配置することができる。スキャンされた変換係数は、２次元配列の最も右下側に位置する対角列に先に配置することができ、左上側方向の対角列に順序に配置することができる。各対角列では、左下側から右上側に量子化された変換係数が配置することができる。

【0166】

即ち、図５の(ａ)の２次元配列を参照すると、Ｃ_m-1,n-1→Ｃ_m-1,n-2→Ｃ_m-2,n-1→...→Ｃ_2,0→Ｃ_1,1→Ｃ_0,2→Ｃ_1,0→Ｃ_0,1→Ｃ_0,0の順序通りに配列することができる。

【0167】

図５の例において、ｍ＝ｎである場合は、正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味し、ｎ≠ｍである場合は、非正方形のブロック(例えば、変換ブロック)単位に変換を実行する場合を意味する。

【0168】

前述したような変換係数のスキャンは、２次元の量子化された変換係数配列(例えば、変換ブロック)内のサブブロック単位に実行することもできる。

【0169】

例えば、エンコーディング装置は、変換係数配列内のサブブロックに対して一サブブロック内の量子化された変換係数を順序通りにスキャンして再整列した後、次のサブブロック内の量子化された変換係数を順序通りにスキャンして再整列することによって、１次元の量子化された変換係数配列を生成することができる。サブブロック内では前述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数をスキャンすることができる。

【0170】

デコーディング装置は、１次元の変換係数配列をサブブロック単位にスキャン及び再整列することができる。例えば、デコーディング装置は、一サブブロック(例えば、第１のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第１のサブブロックの位置に量子化された変換係数を再整列して２次元配列を生成した後、次のサブブロック(例えば、第２のサブブロック)に対して量子化された変換係数をスキャンし、全体変換係数の２次元配列で前記第２のサブブロックの位置に量子化された変換係数を再整列する方式に変換係数の２次元配列(例えば、変換ブロック)を生成することができる。このとき、サブブロック内では詳述した水平スキャン順序、垂直スキャン順序、右上向対角スキャン順序によって量子化された変換係数を再整列することができる。

【0171】

サブブロックのスキャン順序とサブブロック内の量子化された変換係数のスキャン順序は、同じであってもよく、異なってもよい。例えば、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数も右上向対角スキャン順序にスキャンまたは再整列することができる。また、サブブロックが右上向対角スキャン順序にスキャンまたは再整列する場合、サブブロック内の量子化された変換係数は、水平スキャン順序または垂直スキャン順序によってスキャンされ、または再整列することもできる。

【0172】

一方、前述したようにスケーラブルビデオコーディングでは現在レイヤに対する予測を実行する時、現在レイヤの情報のみを利用してインター予測またはイントラ予測を実行することもでき、他のレイヤの情報を利用してインターレイヤ予測を実行することもできる。

【0173】

図６は、本発明が適用されることができるインターレイヤ予測を説明するための図面である。

【0174】

図６を参照すると、複数個のレイヤをサポートするスケーラブルビデオコーディング構造において、エンハンスメントレイヤ(現在レイヤ)の現在ブロック６１０に対する予測を実行する場合、現在ブロック６１０と同じレイヤの情報を利用して予測(イントラまたはインター予測)を実行することもできるが、予測効率を上げるために、現在レイヤより下位レイヤで既に復元されたピクチャを利用して予測(インターレイヤ予測)を実行することもできる。

【0175】

現在ブロック６１０のデコーディング時、インターレイヤ予測を使用するかどうかは、エンコーディング装置からシグナリングすることができる。例えば、現在ピクチャ６００のデコーディング時、インターレイヤ予測が使用可能かどうかを指示するｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ情報を介して知ることができる。ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が１の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使うことができるということを指示し、ｉｎｔｅｒ_ｌａｙｅｒ_ｐｒｅｄ_ｅｎａｂｌｅｄ_ｆｌａｇ値が０の場合、現在ピクチャ６００のデコーディング時、インターレイヤ予測を使わないということを指示できる。

【0176】

現在ブロック６１０のデコーディング時、インターレイヤ予測を使う場合、インターレイヤ予測のために使われる他のレイヤのピクチャに対する情報が必要である。即ち、インターレイヤ予測時、参照される参照レイヤに対する情報、参照レイヤ内の参照される参照ピクチャに対する情報などが必要である。インターレイヤ予測時、参照される参照ピクチャは、インターレイヤ参照ピクチャとも呼ばれる。このとき、インターレイヤ参照ピクチャは、現在レイヤ(エンハンスメントレイヤ)のスケーラビリティに合わせてリサンプルされた(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。

【0177】

インターレイヤ参照ピクチャは、インター予測またはインターレイヤ予測のために使われる参照ピクチャで構成された参照ピクチャリストから誘導することができる。

【0178】

参照ピクチャリストは、ＰスライスまたはＢスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト０(以下、Ｌ０という)と、Ｂスライスのインター予測またはインターレイヤ予測のために使われる参照ピクチャリスト１(以下、Ｌ１という)と、を含むことができる。即ち、単方向予測を実行するＰスライスまたはＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０が利用され、双方向予測を実行するＢスライスのブロックに対するインター予測またはインターレイヤ予測にはＬ０及びＬ１が利用されることができる。

【0179】

ＰスライスまたはＢスライスに対するデコーディング時、インターレイヤ予測を実行する場合、参照ピクチャリストを構成する。参照ピクチャリストは、インター予測に使われる参照ピクチャとインターレイヤ予測に使われる参照ピクチャを含むことができ、参照ピクチャインデックスによりインターレイヤ参照ピクチャを特定することができる。

【0180】

参照ピクチャリストＬ０、Ｌ１は、現在ピクチャのＰＯＣ(Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ)よりＰＯＣが小さい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ)、現在ピクチャのＰＯＣよりＰＯＣが大きい短期参照ピクチャで構成された短期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ)、長期参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ)及びインターレイヤ参照ピクチャセット(ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１)に基づいて構成することができる。

【0181】

ＰＯＣは、ピクチャの表示順序を示し、短期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きくないピクチャであり、長期参照ピクチャは、現在ピクチャとＰＯＣとの差が大きいピクチャである。

【0182】

例えば、Ｌ０は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１の順に構成することができる。Ｌ１は、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＡｆｔｅｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１、ＲｅｆＰｉｃＳｅｔＳｔＣｕｒｒＢｅｆｏｒｅ、ＲｅｆＰｉｃＳｅｔＬｔＣｕｒｒ、ＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ０の順に構成することができる。

【0183】

このとき、参照ピクチャリストの参照ピクチャの個数を制限する場合、Ｌ０またはＬ１でＲｅｆＰｉｃＳｅｔＩｎｔｅｒＬａｙｅｒ１は、空(ｅｍｐｔｙ)状態である。

【0184】

図６に示すように、エンハンスメントレイヤの現在ピクチャ６００がインターレイヤ予測を実行する場合、前述したように、参照ピクチャリストを構成することができる。このとき、エンコーディング装置からシグナリングされるインターレイヤ参照ピクチャを指示する参照ピクチャインデックスを介して参照ピクチャリストからインターレイヤ参照ピクチャ６２０を誘導することができる。インターレイヤ参照ピクチャ６２０は、エンハンスメントレイヤのスケーラビリティによって再構成された(ｒｅｓａｍｐｌｅｄ)参照ピクチャである。

【0185】

このとき、インターレイヤ参照ピクチャ６２０からサンプル情報を利用して予測するインターレイヤサンプル予測と、インターレイヤ参照ピクチャ６２０から動き情報を利用して予測するインターレイヤ動き予測がある。

【0186】

現在ピクチャ６００の現在ブロック６１０に対して、インターレイヤサンプル予測を実行するか、またはインターレイヤ動き予測を実行するかは、エンハンスメントレイヤと参照レイヤとの間の従属性タイプ(ｄｅｐｅｎｄｅｎｃｙ ｔｙｐｅ)によって決定することができる。このような従属性タイプは、エンコーディング装置からシグナリングすることができる。

【0187】

例えば、従属性タイプは、ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値によって特定することができる。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が０の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測のために使うことができるが、インターレイヤ動き予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が１の場合、参照レイヤがエンハンスメントレイヤのインターレイヤ動き予測のために使うことができるが、インターレイヤサンプル予測のために使うことはできない。ｄｉｒｅｃｔ_ｄｅｐｅｎｄｅｎｃｙ_ｔｙｐｅ値が２の場合、参照レイヤがエンハンスメントレイヤのインターレイヤサンプル予測とインターレイヤ動き予測のために使うことができる。

【0188】

前述したように、スケーラブルビデオコーディングにおいて、エンハンスメントレイヤがインターレイヤ予測を使用してコーディングされる場合、一般的なイントラ予測の予測方向(イントラ予測モード)に基づいて予測された場合とは違って、他のピクチャの情報を利用して予測を実行する。したがって、既存のイントラ予測のモード情報を利用して変換係数のスキャン順序を決定する方法を適用する場合、コーディング効率に影響を与えることができる。本発明ではインターレイヤ予測モードが使われるスケーラブルビデオコーディングでの係数スキャニング方法を提案する。例えば、現在ブロックに適用されたイントラ予測モードがインターレイヤ予測モードの場合、現在ブロックの変換係数に対するスキャン順序は、特定な一つのスキャン順序に固定することができる。右上向対角スキャン順序に固定することもでき、垂直スキャン順序または水平スキャン順序に固定することもできる。

【0189】

図７は、本発明による複数のレイヤをサポートする映像符号化方法を概略的に示す流れ図である。図７の方法は、前述した図１のエンコーディング装置で実行されることができる。

【0190】

図７を参照すると、エンコーディング装置は、現在レイヤ(エンハンスメントレイヤ)の符号化対象ブロックを予測して予測サンプルを生成することができる(Ｓ７００)。このとき、符号化対象ブロックの予測モードに基づいて予測を実行することができる。例えば、符号化対象ブロックにインターレイヤ予測が使われる場合、前述した図６のように、参照ピクチャリストから誘導されたインターレイヤ参照ピクチャに基づいてインターレイヤ予測を実行することができる。

【0191】

エンコーディング装置は、符号化対象ブロックの予測サンプルに基づいて取得されたレジデュアルサンプルに変換を実行することができる(Ｓ７１０)。変換を実行した結果、符号化対象ブロックに対する変換係数の２次元配列を生成することができる。レジデュアルサンプルは、予測により生成された予測サンプルと符号化対象ブロックの原サンプルとの間の差分値である。

【0192】

エンコーディング装置は、変換係数の２次元配列をスキャン順序によってスキャンして変換係数を１次元配列に再整列することができる(Ｓ７２０)。このとき、スキャン順序は、符号化対象ブロックに適用された予測モードに基づいて決定することができる。

【0193】

例えば、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。または、符号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、垂直スキャン順序や水平スキャン順序に特定して再整列を実行することもできる。

【0194】

符号化対象ブロックに適用された予測モードがインター予測モードの場合、右上向対角スキャン順序によって変換係数の２次元配列をスキャンして１次元配列に再整列することができる。

【0195】

符号化対象ブロックに適用された予測モードがイントラ予測モードの場合、符号化対象ブロックの大きさ及び符号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を決定することができる。

【0196】

即ち、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが４×４の場合、または符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８であり、符号化対象ブロックがルマサンプルに対するブロックの場合、符号化対象ブロックのイントラ予測モード値によってスキャン順序を決定することができる。

【0197】

符号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に決定され、符号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に決定することができる。

【0198】

また、符号化対象ブロックに適用された予測モードがイントラ予測モードであり、符号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に決定することができる。

【0199】

前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。

【0200】

エンコーディング装置は、変換係数の１次元配列をエントロピーエンコーディングすることができる(Ｓ７３０)。エンコーディング装置は、１次元の変換係数と共にデコーディングに必要な情報をエントロピーエンコーディングしてビットストリームを生成することができる。ビットストリームは、デコーディング装置に送信することができる。

【0201】

図８は、本発明による複数のレイヤをサポートする映像復号化方法を概略的に示す流れ図である。図８の方法は、前述した図２のデコーディング装置で実行することができる。

【0202】

図８を参照すると、デコーディング装置は、ビットストリームを受信してエントロピーデコーディングすることができる(Ｓ８００)。このとき、ビットストリームは、現在レイヤの復号化対象ブロックに対する情報を含むことができる。デコーディング装置は、エントロピーデコーディングを介して復号化対象ブロックに対する変換係数の１次元配列を取得することができる。

【0203】

デコーディング装置は、変換係数の１次元配列をスキャン順序によってスキャンして変換係数の２次元配列に再整列することができる(Ｓ８１０)。このとき、スキャン順序は、復号化対象ブロックに適用された予測モードに基づいて誘導することができる。

【0204】

例えば、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を右上向対角スキャン順序に誘導することができる。したがって、変換係数の１次元配列を右上向対角スキャン順序によってスキャンして変換係数の２次元配列に再整列することができる。または、復号化対象ブロックに適用された予測モードがインターレイヤ予測の場合、スキャン順序を垂直スキャン順序や水平スキャン順序に誘導することもできる。

【0205】

復号化対象ブロックに適用された予測モードがインター予測モードの場合、スキャン順序を右上向対角スキャン順序に誘導することができる。

【0206】

復号化対象ブロックに適用された予測モードがイントラ予測モードの場合、復号化対象ブロックの大きさ及び復号化対象ブロックがルマサンプルに対するブロックであるかどうかによってスキャン順序を誘導することができる。

【0207】

即ち、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが４×４の場合、または復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８であり、復号化対象ブロックがルマサンプルに対するブロックの場合、復号化対象ブロックのイントラ予測モード値によってスキャン順序を誘導することができる。

【0208】

復号化対象ブロックのイントラ予測モード値が６以上１４以下の場合、スキャン順序は垂直スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が２２以上３０以下の場合、スキャン順序は水平スキャン順序に誘導され、復号化対象ブロックのイントラ予測モード値が０以上５以下、または１５以上２１以下、または３１以上３４以下の場合、スキャン順序は右上向対角スキャン順序に誘導することができる。

【0209】

また、復号化対象ブロックに適用された予測モードがイントラ予測モードであり、復号化対象ブロックの大きさが８×８より大きい場合、スキャン順序は右上向対角スキャン順序に誘導することができる。

【0210】

前記右上向対角スキャン順序、垂直スキャン順序、水平スキャン順序は、具体的に詳述したことがあるため、ここでは説明を省略する。

【0211】

デコーディング装置は、変換係数の２次元配列を逆量子化することができる(Ｓ８２０)。デコーディング装置は、逆量子化を介して復号化対象ブロックに対する逆量子化された変換係数の２次元配列を取得することができる。

【0212】

デコーディング装置は、復号化対象ブロックの予測モードに基づいて復号化対象ブロックに対する予測を実行する(Ｓ８３０)。デコーディング装置は、予測により復号化対象ブロックの予測サンプルを生成することができ、予測サンプルと、逆量子化された変換係数の変換を介して取得されたレジデュアルサンプルと、を利用して復号化対象ブロックに対する復元サンプルを取得することができる。

【0213】

前述した例示的なシステムにおいて、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、前述した実施例は、多様な態様の例示を含む。したがって、本発明は、特許請求の範囲内に属する全ての交替、修正及び変更を含む。

【図5(a)】

【図5(b)】

【図5(c)】

【図5(d)】

【図1】

【図2】

【図3】

【図4】

【図6】

【図7】

【図8】