特許 6140269 映像符号化／復号化方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6140269

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】映像符号化／復号化方法及び装置

(51)【国際特許分類】

   H04N 19/124 20140101AFI20170522BHJP

   H04N 19/463 20140101ALI20170522BHJP

   H04N 19/46 20140101ALI20170522BHJP

   H04N 19/176 20140101ALI20170522BHJP

   H04N 19/122 20140101ALI20170522BHJP

   H04N 19/18 20140101ALI20170522BHJP

【ＦＩ】

   H04N19/124

   H04N19/463

   H04N19/46

   H04N19/176

   H04N19/122

   H04N19/18

【請求項の数】5

【全頁数】35

(21)【出願番号】特願2015-505658(P2015-505658)

(86)(22)【出願日】2013年4月16日

(65)【公表番号】特表2015-516754(P2015-516754A)

(43)【公表日】2015年6月11日

(86)【国際出願番号】KR2013003203

(87)【国際公開番号】WO2013157825

(87)【国際公開日】20131024

【審査請求日】2014年12月2日

(31)【優先権主張番号】10-2012-0039270

(32)【優先日】2012年4月16日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2013-0041807

(32)【優先日】2013年4月16日

(33)【優先権主張国】KR

【前置審査】

(73)【特許権者】

【識別番号】596099882

【氏名又は名称】エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート

【氏名又は名称原語表記】ＥＬＥＣＴＲＯＮＩＣＳ ＡＮＤ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＲＥＳＥＡＲＣＨ ＩＮＳＴＩＴＵＴＥ

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100082991

【弁理士】

【氏名又は名称】佐藤 泰和

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100096921

【弁理士】

【氏名又は名称】吉元 弘

(72)【発明者】

【氏名】リム、ソン、チャン

(72)【発明者】

【氏名】キム、フイ、ヨン

(72)【発明者】

【氏名】リー、ジン、ホ

(72)【発明者】

【氏名】チェ、ジン、ス

(72)【発明者】

【氏名】キム、ジン、ウン

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 特表２００７−５２０９４８（ＪＰ，Ａ）

【文献】 特開２０１３−２１９７２７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／０２９２０３９（ＵＳ，Ａ１）

【文献】 Benjamin Bross,et al.，High efficiency video coding (HEVC) text specification draft 6，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting:San Jose,CA,USA,1-10 February,2012，米国，JCTVC，２０１２年 ４月 ２日，JCTVC-H1003，P.28,P.67-70，ＵＲＬ，http://phenix.it-sudparis.eu/jct/index.php

【文献】 Junichi Tanaka,et al.，Quantization Matrix for HEVC，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:Geneva,CH,16-23 March,2011，米国，JCTVC，２０１１年 ３月２２日，JCTVC-E073，P.1-24，ＵＲＬ，http://phenix.it-sudparis.eu/jct/index.php

【文献】 Teruhiko Suzuki,et al.，Proposal to support quantization matrix in HEVC，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting:Torino,IT,14-22 July,2011，米国，JCTVC，２０１１年 ７月１６日，JCTVC-F362，P.1-11，ＵＲＬ，http://phenix.it-sudparis.eu/jct/index.php

【文献】 Sung-Chang Lim,et al.，Non-CE4 Subtest 2: Improvement on quantization matrix signaling，Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting:San Jose,CA,USA,1-10 February,2012，米国，JCTVC，２０１２年 ２月 ９日，JCTVC-H0237，P.1-6，ＵＲＬ，http://phenix.it-sudparis.eu/jct/index.php

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

量子化行列に対する情報を復号化するステップ；及び、
前記量子化行列に対する情報に基づいて量子化行列を復元するステップ；を含み、
前記量子化行列に対する情報は、量子化行列の予測方法を指示する情報を含み、さらに、前記量子化行列の予測方法を指示する前記情報に基づいて、量子化行列の参照量子化行列識別子情報、量子化行列のＤＣ値を示す情報及び量子化行列係数の差分値を示す情報のうち少なくとも一つを含み、
前記量子化行列を復元するステップは、
前記量子化行列係数の差分値を示す情報を利用して量子化行列係数を導出するステップ；及び、
前記量子化行列係数に対してアップライト（ｕｐ−ｒｉｇｈｔ）対角スキャンを実行して前記量子化行列に整列するステップ；を含むことを特徴とする映像復号化方法。

【請求項2】

前記量子化行列が使われる変換係数ブロックの大きさが１６×１６の大きさ又は３２×３２の大きさの場合、前記量子化行列のＤＣ値を示す情報を利用して前記量子化行列を復元することを特徴とする請求項１に記載の映像復号化方法。

【請求項3】

前記量子化行列のＤＣ値を示す情報は、−７〜２４７の値に復号化されることを特徴とする請求項１に記載の映像復号化方法。

【請求項4】

前記量子化行列係数の差分値を示す情報は、現在量子化行列係数と前記現在量子化行列係数以前に復号化された以前量子化行列係数との間の差分値であり、前記量子化行列係数は、前記現在量子化行列係数に対する前記量子化行列係数の差分値に前記以前量子化行列係数を加えて導出されることを特徴とする請求項１に記載の映像復号化方法。

【請求項5】

前記量子化行列が４×４の大きさの変換係数ブロックに使われる場合、前記量子化行列係数に対して４×４の大きさの対角スキャンを実行し、前記量子化行列が８×８、１６×１６及び３２×３２のうち一つの大きさを有する変換係数ブロックに使われる場合、前記量子化行列係数に対して８×８大きさの対角スキャンを実行することを特徴とする請求項１に記載の映像復号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の符号化/復号化に関し、より詳しくは、量子化行列係数の符号化/復号化に関する。

【背景技術】

【0002】

最近、ＨＤ(Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)解像度を有する放送サービスが韓国内だけでなく、世界的に拡大されるにつれて、多くのユーザが高解像度、高画質の映像に慣れており、これによって、多くの機関が次世代映像機器に対する開発に拍車を掛けている。また、ＨＤＴＶと共にＨＤＴＶの４倍以上の解像度を有するＵＨＤ(Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ)に対する関心が増大しながら、より高い解像度、高画質の映像に対する圧縮機術が要求されている。

【0003】

映像圧縮のために、時間的に以前及び/又は以後のピクチャから現在ピクチャに含まれているピクセル値を予測するインター(ｉｎｔｅｒ)予測技術、現在ピクチャ内のピクセル情報を利用して現在ピクチャに含まれているピクセル値を予測するイントラ(ｉｎｔｒａ)予測技術、及び出現頻度が高いシンボル(ｓｙｍｂｏｌ)に短い符号を割り当て、出現頻度が低いシンボルに長い符号を割り当てるエントロピー符号化技術などが使われることができる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、映像符号化/復号化効率を向上させることができる映像符号化/復号化方法及び装置を提供する。

【0005】

本発明は、映像符号化/復号化効率を向上させることができる量子化行列係数の符号化/復号化方法及び装置を提供する。

【0006】

本発明は、映像符号化/復号化効率を向上させることができる量子化行列をスキャンする方法及び装置を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様によると、映像復号化方法が提供される。前記映像復号化方法は、量子化行列に対する情報を復号化するステップ及び前記量子化行列に対する情報に基づいて量子化行列を復元するステップを含み、前記量子化行列に対する情報は、量子化行列のＤＣ値を示す情報及び量子化行列係数の差分値を示す情報のうち少なくとも一つを含む。

【0008】

前記量子化行列が使われる変換係数ブロックの大きさが１６×１６大きさ又は３２×３２大きさの場合、前記量子化行列のＤＣ値を示す情報を利用して前記量子化行列を復元してもよい。

【0009】

前記量子化行列のＤＣ値を示す情報は、−７〜２４７の値に復号化されてもよい。

【0010】

前記量子化行列を復元するステップは、前記量子化行列係数の差分値を示す情報を利用して量子化行列係数を導出するステップ及び前記量子化行列係数に対してスキャンを実行して前記量子化行列に整列するステップを含んでもよい。

【0011】

前記量子化行列係数の差分値を示す情報は、現在量子化行列係数と前記現在量子化行列係数以前に復号化された以前量子化行列係数との間の差分値であり、前記量子化行列係数は、前記現在量子化行列係数に対する前記量子化行列係数の差分値に前記以前量子化行列係数を加えて導出されてもよい。

【0012】

前記量子化行列係数に対して対角スキャンを実行して前記量子化行列に整列してもよい。

【0013】

前記量子化行列が４×４大きさの変換係数ブロックに使われる場合、前記量子化行列係数に対して４×４大きさの対角スキャンを実行し、前記量子化行列が８×８、１６×１６及び３２×３２のうち一つの大きさを有する変換係数ブロックに使われる場合、前記量子化行列係数に対して８×８大きさの対角スキャンを実行してもよい。

【0014】

本発明の他の態様によると、映像復号化装置が提供される。前記映像復号化装置は、量子化行列係数に対する情報を復号化し、前記量子化行列係数に対する情報に基づいて量子化行列を復元し、前記量子化行列係数に対する情報は、量子化行列のＤＣ値を示す情報及び量子化行列係数の差分値を示す情報のうち少なくとも一つを含む。

【0015】

本発明の他の態様によると、映像符号化方法が提供される。前記映像符号化方法は、量子化時に使われる量子化行列を決定するステップ及び前記量子化行列に対する情報を符号化するステップを含み、前記量子化行列に対する情報は、量子化行列のＤＣ値を示す情報及び量子化行列係数の差分値を示す情報のうち少なくとも一つを含む。

【0016】

前記量子化行列が使われる変換係数ブロックの大きさが１６×１６大きさ又は３２×３２大きさの場合、前記量子化行列のＤＣ値を示す情報を符号化してもよい。

【0017】

前記量子化行列のＤＣ値を示す情報は、−７〜２４７の値に符号化されてもよい。

【0018】

前記量子化行列に対する情報を符号化するステップは、前記量子化行列に対してスキャンを実行して整列された量子化行列係数配列を導出するステップ及び前記整列された量子化行列係数配列に対して前記量子化行列係数の差分値を示す情報を生成して符号化するステップを含んでもよい。

【0019】

前記量子化行列に対して対角スキャンを実行して前記整列された量子化行列係数配列を導出してもよい。

【0020】

前記量子化行列係数の差分値を示す情報は、前記整列された量子化行列係数配列内で、現在量子化行列係数と前記現在量子化行列係数以前に符号化された以前量子化行列係数との間の差分値であってもよい。

【0021】

前記量子化行列が４×４大きさの変換係数ブロックに使われる場合、前記量子化行列に対して４×４大きさの対角スキャンを実行し、前記量子化行列が８×８、１６×１６及び３２×３２のうち一つの大きさを有する変換係数ブロックに使われる場合、前記量子化行列に対して８×８大きさの対角スキャンを実行してもよい。

【0022】

本発明の他の態様によると、映像符号化装置が提供される。前記映像符号化装置は、量子化時に使われる量子化行列を決定し、前記量子化行列に対する情報を符号化し、前記量子化行列に対する情報は、量子化行列のＤＣ値を示す情報及び量子化行列係数の差分値を示す情報のうち少なくとも一つを含む。

【発明の効果】

【0023】

本発明では量子化行列係数をスキャンすることができる方法を提供することによって、符号化器及び復号化器でジグザグスキャン具現に必要なロジックを減少させることができ、ジグザグスキャン配列を格納するためのメモリ空間を節約することができる。

【図面の簡単な説明】

【0024】

【図1】本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。

【図2】本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。

【図3】一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。

【図4】本発明の実施例に係る量子化行列の符号化方法を概略的に示す流れ図である。

【図5】本発明の実施例に係る量子化行列係数を予測符号化する方法を概略的に示す流れ図である。

【図6】本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる対角スキャン(ｄｉａｇｏｎａｌ ｓｃａｎ)の一例を示す。

【図7】本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる水平スキャン(ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の一例を示す。

【図8】本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる垂直スキャン(ｖｅｒｔｉｃａｌ ｓｃａｎ)の一例を示す。

【図9】本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの対角スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｄｉａｇｏｎａｌ ｓｃａｎ)の一例を示す。

【図10】本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの水平スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の一例を示す。

【図11】本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの垂直スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｖｅｒｔｉｃａｌ ｓｃａｎ)の一例を示す。

【図12】本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの水平スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の他の例を示す。

【図13】本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの垂直スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｖｅｒｔｉｃａｌ ｓｃａｎ)の他の例を示す。

【図14】本発明の実施例に係る量子化行列の復号化方法を概略的に示す流れ図である。

【図15】本発明が適用されることができる量子化行列をアップサンプリングする方法を説明するための図面である。

【図16】本発明が適用されることができる量子化行列をサブサンプリングする方法を説明するための図面である。

【図17】本発明の実施例に係る量子化行列係数を予測復号化する方法を概略的に示す流れ図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して本発明の実施形態に対して具体的に説明する。本明細書の実施例を説明するにあたって、関連した公知構成又は機能に対する具体的な説明が本明細書の要旨を不明にすると判断される場合には該当説明を省略することもできる。

【0026】

本明細書において、一構成要素が他の構成要素に“連結されている”又は“接続されている”と言及された場合、該当他の構成要素に直接的に連結されている、又は接続されていることを意味し、又は中間に他の構成要素が存在することを意味する。また、本明細書において、特定構成を“含む”と記述する内容は、該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施又は本発明の技術的思想の範囲に含まれることができることを意味する。

【0027】

第１、第２などの用語は、多様な構成の説明に使われることができるが、前記構成は、前記用語により限定されるものではない。前記用語は、一つの構成要素を他の構成要素から区別する目的として使われる。例えば、本発明の権利範囲を外れない限り、第１の構成は第２の構成と命名することができ、同様に、第２の構成も第１の構成と命名することができる。

【0028】

また、本発明の実施例に開示する構成部は、互いに異なる特徴的な機能を示すために独立的に図示されるものであり、各構成部が分離されたハードウェアや一つのソフトウェア構成単位に構成されることを意味しない。即ち、各構成部は、説明の便宜上、それぞれの構成部として羅列して含むものであり、各構成部のうち少なくとも２個の構成部が統合されて一つの構成部からなり、又は一つの構成部が複数個の構成部に分けられて機能を遂行することができる。各構成部の統合された実施例及び分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。

【0029】

また、一部の構成要素は、本発明で本質的な機能を遂行する必須的構成要素ではなく、単に性能を向上させるための選択的構成要素である。本発明は、単に性能向上のために使われる構成要素を除いた本発明の本質具現に必須的な構成部のみを含んで具現されることができ、単に性能向上のために使われる選択的な構成要素を除いた必須的な構成要素のみを含む構造も本発明の権利範囲に含まれる。

【0030】

まず、説明の便宜及び発明の理解のために、本明細書で使われる用語に対して簡略に説明する。

【0031】

ユニット(ｕｎｉｔ)は、映像符号化及び復号化の単位を意味する。即ち、映像符号化/復号化において、符号化又は復号化単位とは、一つの映像を細分化されたユニットに分割して符号化又は復号化する時、その分割された単位を意味する。ブロック(ｂｌｏｃｋ)、マクロブロック(Ｍａｃｒｏ Ｂｌｏｃｋ；ＭＢ)、符号化ユニット(Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ)、予測ユニット(Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ；ＰＵ)、変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ)、符号化ブロック(Ｃｏｄｉｎｇ Ｂｌｏｃｋ；ＣＢ)、予測ブロック(Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ；ＰＢ)、変換ブロック(Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ；ＴＢ)などとも呼ばれる。また、一つのユニットは、大きさが小さい下位ユニットに分割されることができる。

【0032】

ブロック(ｂｌｏｃｋ)は、サンプル(ｓａｍｐｌｅ)のＭ×Ｎ配列を意味し、ＭとＮは正の整数値を有する。また、ブロックは、一般的に２次元形態の配列を意味する。

【0033】

変換ユニット(Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ；ＴＵ)は、変換、逆変換、量子化、逆量子化、変換係数符号化/復号化のように残余信号(ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ)の符号化/復号化を実行する時の基本ユニットであり、一つの変換ユニットは、大きさが小さい複数の変換ユニットに分割されることができる。

【0034】

量子化行列(ｑｕａｎｔｉｚａｔｉｏｎ ｍａｔｒｉｘ)は、映像の主観的画質又は客観的画質を向上させるために量子化又は逆量子化過程で利用する行列を意味する。量子化行列は、スケーリングリスト(ｓｃａｌｉｎｇ ｌｉｓｔ)とも呼ばれる。

【0035】

基本行列(ｄｅｆａｕｌｔ ｍａｔｒｉｘ)は、符号化器/復号化器で予め定義されている所定の量子化行列を意味する。非基本行列(ｎｏｎ−ｄｅｆａｕｌｔ ｍａｔｒｉｘ)は、符号化器/復号化器で予め定義されておらずに、ユーザによって送信/受信される量子化行列を意味する。

【0036】

量子化行列係数(ｑｕａｎｔｉｚａｔｉｏｎ ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ)は、量子化行列内の各元素(ｅｌｅｍｅｎｔ)を意味し、行列係数(ｍａｔｒｉｘ ｃｏｅｆｆｉｃｉｅｎｔ)とも呼ばれる。

【0037】

スキャン(ｓｃａｎ)は、ブロック又は行列内の係数の順序を整列する方法を意味する。例えば、２次元配列を１次元配列の形態に整列することをスキャンといい、１次元配列を２次元配列の形態に整列することもスキャンという。

【0038】

スケーリング(ｓｃａｌｉｎｇ)は、変換係数レベルに因数をかける過程を意味し、その結果、変換係数を生成する。スケーリングは、逆量子化(ｄｅｑｕａｎｔｉｚａｔｉｏｎ)ともいう。

【0039】

変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)は、変換を実行した後に生成された係数値を意味する。本明細書では、変換係数に量子化を適用した量子化された変換係数レベル(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ ｌｅｖｅｌ)も変換係数と通称して使用する。

【0040】

ジグザグスキャン(ｚｉｇｚａｇ ｓｃａｎ)は、最低空間的周波数に該当する係数(量子化行列係数、変換係数レベル)から最高空間的周波数に該当する係数を順次に整列するための特定スキャン方法である。

【0041】

量子化媒介変数(ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ)は、量子化及び逆量子化で変換係数レベルをスケーリングする時に使われる値を意味する。このとき、量子化媒介変数は、量子化ステップ大きさ(ｓｔｅｐ ｓｉｚｅ)にマッピングされた値である。

【0042】

パラメータセット(ｐａｒａｍｅｔｅｒ ｓｅｔ)は、ビットストリーム内の構造のうちヘッダ情報に該当し、シーケンスパラメータセット(ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、ピクチャパラメータセット(ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ)、適応パラメータセット(ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅ ｒｓｅｔ)などを通称する意味を有する。

【0043】

図１は、本発明が適用される映像符号化装置の一実施例に係る構成を示すブロック図である。

【0044】

図１を参照すると、映像符号化装置１００は、動き予測部１１１、動き補償部１１２、イントラ予測部１２０、スイッチ１１５、減算器１２５、変換部１３０、量子化部１４０、エントロピー符号化部１５０、逆量子化部１６０、逆変換部１７０、加算器１７５、フィルタ部１８０及び参照ピクチャバッファ１９０を含む。

【0045】

映像符号化装置１００は、入力映像に対してイントラ(ｉｎｔｒａ)モード又はインター(ｉｎｔｅｒ)モードに符号化を実行することで、ビットストリームを出力することができる。イントラモードである場合、スイッチ１１５がイントラに切り替えられ、インターモードである場合、スイッチ１１５がインターに切り替えられることができる。イントラ予測は画面内予測を意味し、インター予測は画面間予測を意味する。映像符号化装置１００は、入力映像の入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックとの差分(ｒｅｓｉｄｕａｌ)を符号化することができる。このとき、入力映像は、原映像(ｏｒｉｇｉｎａｌ ｐｉｃｔｕｒｅ)を意味する。

【0046】

イントラモードである場合、イントラ予測部１２０は、現在ブロック周辺の既に符号化/復号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。

【0047】

インターモードである場合、動き予測部１１１は、動き予測過程で参照ピクチャバッファ１９０に格納されている参照映像で入力ブロックと最もよくマッチされる領域を探して動きベクトルを求めることができる。動き補償部１１２は、動きベクトルを利用して動き補償を実行することによって予測ブロックを生成することができる。ここで、動きベクトルは、インター予測に使われる２次元ベクトルであり、現在符号化/復号化対象映像と参照映像との間のオフセットを示すことができる。

【0048】

減算器１２５は、入力ブロックと生成された予測ブロックとの差分により残差ブロック(ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を生成することができる。

【0049】

変換部１３０は、残差ブロックに対して変換(ｔｒａｎｓｆｏｒｍ)を実行することで、変換係数(ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。そして、量子化部１４０は、入力された変換係数を量子化パラメータ(ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、又は量子化媒介変数)によって量子化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)を出力することができる。

【0050】

エントロピー符号化部１５０は、量子化部１４０で算出された値又は符号化過程で算出された符号化パラメータ値などに基づいてエントロピー符号化を実行することで、ビットストリーム(ｂｉｔｓｔｒｅａｍ)を出力することができる。エントロピー符号化が適用される場合、高い発生確率を有するシンボル(ｓｙｍｂｏｌ)に少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさが減少されることができる。したがって、エントロピー符号化を介して映像符号化の圧縮性能が高まることができる。エントロピー符号化部１５０は、エントロピー符号化のために、指数−ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ−Ｇｏｌｏｍｂ)、ＣＡＶＬＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ)、ＣＡＢＡＣ(Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ)のような符号化方法を使用することができる。

【0051】

図１の実施例に係る映像符号化装置１００は、インター予測符号化、即ち、画面間予測符号化を実行するため、現在符号化された映像は、参照映像として使われるために復号化されて格納される必要がある。したがって、量子化された係数は、逆量子化部１６０で逆量子化され、逆変換部１７０で逆変換される。逆量子化、逆変換された係数は、加算器１７５を介して予測ブロックと加えられて復元ブロックが生成される。

【0052】

復元ブロックは、フィルタ部１８０を経て、フィルタ部１８０は、デブロッキングフィルタ(ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ)、ＳＡＯ(Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ)、ＡＬＦ(Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ)のうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部１８０は、適応的インループ(ｉｎ−ｌｏｏｐ)フィルタとも呼ばれる。デブロッキングフィルタは、ブロック間の境界に発生したブロック歪曲を除去することができる。ＳＡＯは、コーディングエラーを補償するために、ピクセル値に適正オフセット(ｏｆｆｓｅｔ)値を加えることができる。ＡＬＦは、復元された映像と原映像を比較した値に基づいてフィルタリングを実行することができる。フィルタ部１８０を経た復元ブロックは、参照ピクチャバッファ１９０に格納されることができる。

【0053】

図２は、本発明が適用される映像復号化装置の一実施例に係る構成を示すブロック図である。

【0054】

図２を参照すると、映像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、イントラ予測部２４０、動き補償部２５０、加算器２５５、フィルタ部２６０及び参照ピクチャバッファ２７０を含む。

【0055】

映像復号化装置２００は、符号化器から出力されたビットストリームの入力を受けてイントラモード又はインターモードに復号化を実行することで、再構成された映像、即ち、復元映像を出力することができる。イントラモードである場合、スイッチがイントラに切り替えられ、インターモードである場合、スイッチがインターに切り替えられることができる。

【0056】

映像復号化装置２００は、入力されたビットストリームから復元された残差ブロック(ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ)を得て、予測ブロックを生成した後、復元された残差ブロックと予測ブロックを加えて再構成されたブロック、即ち、復元ブロックを生成することができる。

【0057】

エントロピー復号化部２１０は、入力されたビットストリームを確率分布によってエントロピー復号化し、量子化された係数(ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ)形態のシンボルを含むシンボルを生成することができる。

【0058】

エントロピー復号化方法が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることによって、各シンボルに対するビット列の大きさが減少されることができる。

【0059】

量子化された係数は、逆量子化部２２０で逆量子化され、逆変換部２３０で逆変換され、量子化された係数が逆量子化/逆変換された結果、復元された残差ブロックが生成されることができる。

【0060】

イントラモードである場合、イントラ予測部２４０は、現在ブロック周辺の既に復号化されたブロックのピクセル値を利用して空間的予測を実行することで、予測ブロックを生成することができる。インターモードである場合、動き補償部２５０は、動きベクトル及び参照ピクチャバッファ２７０に格納されている参照映像を利用して動き補償を実行することによって予測ブロックを生成することができる。

【0061】

残差ブロックと予測ブロックは、加算器２５５を介して加えられ、加えられたブロックは、フィルタ部２６０を経ることができる。フィルタ部２６０は、デブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロック又は復元ピクチャに適用することができる。フィルタ部２６０は、再構成された映像、即ち、復元映像を出力することができる。復元映像は、参照ピクチャバッファ２７０に格納されてインター予測に使われることができる。

【0062】

図３は、一つのユニットが複数の下位ユニットに分割される実施例を概略的に示す概念図である。

【0063】

ブロック分割情報には、ユニットの深さ(ｄｅｐｔｈ)に対する情報が含まれることができる。深さ情報は、ユニットが分割される回数及び/又は程度を示すことができる。

【0064】

一つのユニットは、ツリー構造(ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ)に基づいて深さ情報(ｄｅｐｔｈ)を有して階層的に分割されることができる。それぞれの分割された下位ユニットは、深さ情報を有することができる。このとき、深さ情報は、ユニットが分割された回数及び/又は程度を示すため、下位ユニットの大きさに対する情報を含むこともできる。

【0065】

図３の３１０を参照すると、最も上位ノードは、ルートノード(ｒｏｏｔ ｎｏｄｅ)と呼ばれることができ、最も小さい深さ値を有することができる。このとき、最も上位ノードは、レベル０の深さを有することができ、分割されない最初のユニットを示すことができる。

【0066】

レベル１の深さを有する下位ノードは、最初のユニットが一回分割されたユニットを示すことができ、レベル２の深さを有する下位ノードは、最初のユニットが二回分割されたユニットを示すことができる。例えば、図３の３２０において、ノードａに対応するユニットａは、最初のユニットから一回分割されたユニットであり、レベル１の深さを有することができる。

【0067】

レベル３のリーフノード(ｌｅａｆ ｎｏｄｅ)は、最初のユニットが三回分割されたユニットを示すことができる。例えば、図３の３２０において、ノードｄに対応するユニットｄは、最初のユニットから三回分割されたユニットであり、レベル３の深さを有することができる。したがって、最も下位ノードであるレベル３のリーフノードは、最も深い深さを有することができる。

【0068】

一方、映像の主観的又は客観的画質を向上させるために、符号化器では、量子化(ｑｕａｎｔｉｚａｔｉｏｎ)過程で空間的周波数(ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ)別に異なる値を利用して変換係数を量子化する時、量子化行列(ｑｕａｎｔｉｚａｔｉｏｎ ｍａｔｒｉｘ)を使用し、復号化器では、逆量子化(ｄｅｑｕａｎｔｉｚａｔｉｏｎ)過程で空間的周波数別に異なる値を利用して変換係数を逆量子化する時、量子化行列を使用する。

【0069】

量子化及び逆量子化の過程で、符号化器と復号化器では、予め定義された基本行列(ｄｅｆａｕｌｔ ｍａｔｒｉｘ)を量子化行列として使用することもでき、又は、符号化器でユーザが定義した量子化行列を使用することもできる。ユーザが定義した量子化行列は、非基本行列(ｎｏｎ−ｄｅｆａｕｌｔ ｍａｔｒｉｘ)とも呼ばれる。このとき、符号化器では、量子化行列(非基本行列)をビットストリーム(ｂｉｔｓｔｒｅａｍ)に符号化して復号化器に送信することができる。

【0070】

以下、本発明では、量子化行列係数をスキャンする方法及び装置に対して説明する。

【0071】

図４は、本発明の実施例に係る量子化行列の符号化方法を概略的に示す流れ図である。図４の方法は、前述した図１の映像符号化装置で実行されることができる。

【0072】

図４を参照すると、符号化装置は、量子化行列(ｑｕａｎｔｉｚａｔｉｏｎ ｍａｔｒｉｘ)を構成することができる(Ｓ４１０)。即ち、符号化装置は、量子化/逆量子化の過程で変換係数ブロック(又は、変換ブロック)に使われる量子化行列を構成することができる。

【0073】

例えば、符号化器及び復号化器で予め定義された基本(ｄｅｆａｕｌｔ)行列を利用して量子化/逆量子化の過程に必要な量子化行列を構成することができる。または、ユーザが符号化器に入力した非基本(ｎｏｎ−ｄｅｆａｕｌｔ)行列を利用して量子化/逆量子化の過程に必要な量子化行列を構成することもできる。

【0074】

このとき、符号化装置は、変換係数ブロックの予測モード(画面内予測モード又は画面間予測モード等)、色成分(輝度成分又は色差成分等)、ブロック大きさ(４×４、８×８、１６×１６、３２×３２、１６×４、４×１６、３２×８、８×３２等)によって互いに異なる量子化行列を使用するように量子化行列を構成することができる。前記構成された量子化行列は、多様な量子化行列を含むことができる。

【0075】

１６×１６及び３２×３２大きさを有する変換係数ブロックに使われる量子化行列は、量子化/逆量子化の際、１６×１６と３２×３２大きさの量子化行列として使われるが、８×８大きさの量子化行列で表現して符号化されることができる。

【0076】

例えば、符号化器から１６×１６又は３２×３２大きさの量子化行列が入力された場合、量子化/逆量子化の際、前記入力された１６×１６又は３２×３２大きさの量子化行列を利用し、サブサンプリング(ｓｕｂｓａｍｐｌｉｎｇ)又はダウンサンプリング(ｄｏｗｎｓａｍｐｌｉｎｇ)等を介して前記入力された１６×１６又は３２×３２大きさの量子化行列を８×８大きさの量子化行列で構成して符号化することができる。または、符号化器から８×８大きさの量子化行列が入力された場合、量子化/逆量子化の際、前記入力された８×８大きさの量子化行列をアップサンプリング(ｕｐｓａｍｐｌｉｎｇ)又は補間(ｉｎｔｅｒｐｏｌａｔｉｏｎ)等を介して１６×１６又は３２×３２大きさの量子化行列で構成して利用することができ、前記入力された８×８大きさの量子化行列を符号化することができる。

【0077】

表１は、前述した変換係数ブロックの予測モード、色成分、ブロック大きさによって使われることができる量子化行列の一例を示す。

【0078】

【表1】

【0079】

符号化装置は、量子化行列の存在有無に対する情報を符号化することができる(Ｓ４２０)。例えば、符号化装置は、量子化行列の存在有無を示す情報をパラメータセット(ｐａｒａｍｅｔｅｒ ｓｅｔ)に符号化することができる。このとき、パラメータセットは、適応パラメータセット(ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ)である。

【0080】

表２は、量子化行列の存在有無に対する情報を符号化するためのパラメータセットの構文要素を示す一例である。

【0081】

【表2】

【0082】

表２を参照すると、ビットストリーム内の量子化行列の存在有無を示す情報は、フラグを利用してパラメータセットに符号化されることができる。例えば、量子化行列の存在有無を指示するフラグは、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇで示される。もし、量子化行列が存在しない場合、例えば、全ての量子化行列を基本行列に決定した場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値を０に設定して符号化することができ、符号化された量子化行列が存在する場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値を１に設定して符号化することができる。

【0083】

表２において、ｓｉｚｅＩＤの値は、変換係数ブロックの大きさ又は量子化行列の大きさを意味し、ｍａｔｒｉｘＩＤの値は、予測モード(ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ)及び色成分(ｃｏｌｏｒ ｃｏｍｐｏｎｅｎｔ)による量子化行列の種類を意味する。

【0084】

一例として、表３は、量子化行列の大きさによるｓｉｚｅＩＤ値を示し、表４は、予測モード及び色成分によるｍａｔｒｉｘＩＤ値を示す。

【0085】

【表3】

【0086】

【表4】

【0087】

表２では、量子化行列の存在有無に対する情報を示すフラグとしてｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇを利用したが、これは一つの例示に過ぎず、前記フラグの名称は変更可能である。例えば、ｓｐｓ_ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄａｔａ_ｐｒｅｓｅｎｔ_ｆｌａｇなどを利用して量子化行列の存在有無に対する情報を指示することもできる。

【0088】

符号化装置は、量子化行列の予測方法に対する情報を符号化することができる(Ｓ４３０)。例えば、符号化装置は、量子化行列の予測方法の種類に対して決定し、決定された量子化行列の予測方法に対する情報をパラメータセットに符号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0089】

前記表２を参照すると、量子化行列の予測方法に対する情報は、フラグを利用してパラメータセットに符号化することができる。例えば、量子化行列の予測方法を指示するフラグは、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇで示される。このとき、量子化行列内の係数を予測符号化するために、量子化行列をスキャンしてＤＰＣＭ(Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ)と指数−ゴロム(Ｅｘｐｏｎｅｎｔｉａｌ−Ｇｏｌｏｍｂ)コードを使用することに決定した場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇの値を１に設定して符号化することができる。または、量子化行列間予測のために、参照量子化行列と符号化対象量子化行列が同じ値を有するように決定した場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇの値を０に設定して符号化することができる。ここで、参照量子化行列と符号化対象量子化行列が同じ値を有するというのは、参照量子化行列の係数値を符号化対象量子化行列の係数値に複写する量子化行列予測方法である。

【0090】

表２では、量子化行列の予測方法に対する情報を示すフラグとしてｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇを利用したが、これは一つの例示に過ぎず、前記フラグの名称は変更可能である。

【0091】

符号化装置は、量子化行列の予測方法に対する情報に基づいて量子化行列間予測のために、量子化行列識別子を符号化し、又は量子化行列内の係数を予測符号化することができる(Ｓ４４０)。

【0092】

一例として、量子化行列の予測方法が、量子化行列間予測のために、参照量子化行列と同じ係数値を有するように符号化対象量子化行列を決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝０)の場合、符号化対象量子化行列の参照量子化行列識別子をパラメータセットに符号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0093】

前記表２を参照すると、符号化対象量子化行列の参照量子化行列識別子を指示するｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａを利用してパラメータセットに符号化することができる。このとき、符号化対象量子化行列を指示するｍａｔｒｉｘＩＤと参照量子化行列を指示するＲｅｆＭａｔｒｉｘＩＤを利用して量子化行列識別子(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)を決定することができる。例えば、数式１のように量子化行列識別子(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)を決定することができる。

【0094】

【数1】

【0095】

符号化対象量子化行列の係数値を参照量子化行列の係数値と同一に決定する方法は、ＲｅｆＭａｔｒｉｘＩＤが指示する参照量子化行列を符号化対象量子化行列の参照量子化行列に決定し、参照量子化行列の係数値を符号化対象量子化行列の係数値に複写する量子化行列予測方法である。

【0096】

他の例として、量子化行列の予測方法が、量子化行列間予測のために、参照量子化行列又は基本行列と同じ係数値を有するように符号化対象量子化行列を決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝０)の場合、符号化対象量子化行列の参照量子化行列識別子と基本行列使用可否を指示する情報をパラメータセットに符号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0097】

前記表２を参照すると、符号化対象量子化行列の係数値を参照量子化行列の係数値と同じ値に決定した場合、又は符号化対象量子化行列の係数値を基本行列の係数値と同じ値に決定した場合、符号化対象量子化行列の参照量子化行列識別子を指示するｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａを利用してパラメータセットに符号化することができる。このとき、符号化対象量子化行列を指示するｍａｔｒｉｘＩＤと参照量子化行列及び基本行列を指示するＲｅｆＭａｔｒｉｘＩＤを利用して量子化行列識別子(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)を決定することができる。例えば、数式２のように量子化行列識別子(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)を決定することができる。

【0098】

【数2】

【0099】

符号化対象量子化行列の係数値を符号化器及び復号化器で予め決められた基本行列の係数値と同じ値に決定した場合、ＲｅｆＭａｔｒｉｘＩＤ値とｍａｔｒｉｘＩＤ値を同じにし、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ値を０に符号化することができる。このとき、基本行列は、ｓｉｚｅＩＤとｍａｔｒｉｘＩＤが指示する基本行列を意味する。

【0100】

符号化対象量子化行列の係数値を参照量子化行列の係数値と同じ値に決定した場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ値を０でない値に符号化することによって、ＲｅｆＭａｔｒｉｘＩＤ値とｍａｔｒｉｘＩＤ値が同じでないようにする。

【0101】

他の例として、量子化行列の予測方法が、量子化行列内の係数を予測符号化するために、量子化行列をスキャンしてＤＰＣＭと指数−ゴロムコードを使用することに決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝１)の場合、量子化行列内で以前に符号化された量子化行列係数値と現在符号化対象量子化行列係数値との間の差分値をパラメータセットに符号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0102】

表５は、量子化行列内の係数を予測符号化するためのパラメータセットの構文要素を示す一例である。

【0103】

【表5】

【0104】

表５を参照すると、符号化対象量子化行列の大きさが１６×１６(ｓｉｚｅＩＤ＝２)又は３２×３２(ｓｉｚｅＩＤ＝３)の場合、ＤＣ行列係数値を示すｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８をパラメータセットに符号化することができる。ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８の値は、８ビットで表現することができる−７〜２４７の値に限定されることができ、−７〜２４７の値に符号を有する指数−ゴロムコード(Ｓｉｇｎｅｄ Ｅｘｐｏｎｅｎｔａｌ−Ｇｏｌｏｍｂ ｃｏｄｅ)を利用して符号化することができる。

【0105】

または、量子化行列内で以前に符号化された量子化行列係数値と現在符号化対象量子化行列係数値との間の差分値を示すｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆをパラメータセットに符号化することができる。例えば、基本行列を使用する場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを１個の値のみ符号化することができる。または、４×４大きさの量子化行列を符号化する場合、４×４大きさの量子化行列内の係数の個数である総１６個の値をｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを利用して符号化することができる。または、８×８大きさ以上の変換係数ブロックに使用する量子化行列を符号化する場合、８×８大きさの量子化行列内の係数の個数である総６４個の値をｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを利用して符号化することができる。量子化行列内の係数間の差分値(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を利用して量子化行列係数を予測符号化する方法は、図５乃至図１３を参照して詳細に後述する。

【0106】

一方、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８又はｎｅｘｔＣｏｅｆの計算に使われるｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを利用して基本行列使用可否を符号化することができる。例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８の値を−８に符号化して基本行列を使用することを復号化器に指示することができる。または、１番目のｎｅｘｔＣｏｅｆ値が０になるようにｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを符号化して基本行列を使用することを復号化器に指示することもできる。

【0107】

図５は、本発明の実施例に係る量子化行列係数を予測符号化する方法を概略的に示す流れ図である。図５の方法は、前述した図１の映像符号化装置で実行されることができる。また、図５の方法は、前述した図４のステップＳ４４０において、量子化行列内の係数間の差分値(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)に基づいて量子化行列係数を予測して符号化する過程である。

【0108】

図５を参照すると、符号化装置は、量子化行列係数をスキャンする(Ｓ５１０)。即ち、符号化装置は、２次元量子化行列内の係数を１次元形態の係数配列に整列するためのスキャンを実行する。

【0109】

図６乃至図１３は、量子化行列係数スキャン方法の実施例を示す。

【0110】

図６は、本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる対角スキャン(ｄｉａｇｏｎａｌ ｓｃａｎ)の一例を示す。

【0111】

図６に示すように、４×４及び８×８大きさの２次元量子化行列内の係数を対角スキャンを使用して１次元形態の係数配列に整列することができる。このとき、対角スキャン方向は、図６のように左下方から右上方であってもよい。または、右上方から左下方であってもよい。スキャン方向が左下方から右上方の場合、右上方スキャン(ｕｐ−ｒｉｇｈｔ ｓｃａｎ、又はアップライトスキャン)と呼ばれる。または、スキャン方向が右上方から左下方の場合、左下方スキャン(ｄｏｗｎ−ｌｅｆｔ ｓｃａｎ、又はダウンレフトスキャン)と呼ばれる。図６に示す対角スキャンは、右上方スキャンの例を示している。

【0112】

図７は、本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる水平スキャン(ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の一例を示す。

【0113】

図７に示すように、４×４及び８×８大きさの２次元量子化行列内の係数を水平スキャンを使用して１次元形態の係数配列に整列することができる。水平スキャンは、２次元量子化行列内の各行に対して最初の行から最後の行まで順次にスキャンし、各行内では左から右へ係数をスキャンする方式である。

【0114】

図８は、本発明の実施例によって４×４及び８×８大きさの量子化行列に適用されることができる垂直スキャン(ｖｅｒｔｉｃａｌ ｓｃａｎ)の一例を示す。

【0115】

図８に示すように、４×４及び８×８大きさの２次元量子化行列内の係数を垂直スキャンを使用して１次元形態の係数配列に整列することができる。垂直スキャンは、２次元量子化行列内の各列に対して最初の列から最後の列まで順次にスキャンし、各列内では上から下へ係数をスキャンする方式である。

【0116】

図９は、本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの対角スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｄｉａｇｏｎａｌ ｓｃａｎ)の一例を示す。

【0117】

図９に示すように、８×８大きさの２次元量子化行列内の係数を４×４大きさのブロックベースの対角スキャンを使用して１次元形態の係数配列に整列することができる。このとき、各４×４大きさのブロック内の係数に対して対角スキャンを実行し、また、各４×４大きさのブロック間にも対角スキャン方向を適用することができる。

【0118】

対角スキャン方向は、図９のように左下方から右上方であってもよい。または、右上方から左下方であってもよい。図９に示すブロックベースの対角スキャンは、４×４大きさのブロック単位に右上方スキャン(ｕｐ−ｒｉｇｈｔ ｓｃａｎ)する方法の例を示している。

【0119】

図１０は、本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの水平スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の一例を示す。

【0120】

図１０に示すように、８×８大きさの２次元量子化行列内の係数を４×４大きさのブロックベースの水平スキャンを使用して１次元形態の係数配列に整列することができる。このとき、各４×４大きさのブロック内の係数に対して水平スキャンを実行し、また、各４×４大きさのブロック間にも水平スキャン方向を適用することができる。

【0121】

図１１は、本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの垂直スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｖｅｒｔｉｃａｌ ｓｃａｎ)の一例を示す。

【0122】

図１１に示すように、８×８大きさの２次元量子化行列内の係数を４×４大きさのブロックベースの垂直スキャンを使用して１次元形態の係数配列に整列することができる。このとき、各４×４大きさのブロック内の係数に対して垂直スキャンを実行し、また、各４×４大きさのブロック間にも垂直スキャン方向を適用することができる。

【0123】

図１２は、本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの水平スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｈｏｒｉｚｏｎｔａｌ ｓｃａｎ)の他の例を示す。

【0124】

図１２に示すように、８×８大きさの２次元量子化行列内の係数を８×２大きさのブロックベースの水平スキャンを使用して１次元形態の係数配列に整列することができる。このとき、各８×２大きさのブロック内の係数に対して水平スキャンを実行し、また、各８×２大きさのブロック間にも水平スキャン方向を適用することができる。

【0125】

図１３は、本発明の実施例によって８×８大きさの量子化行列に適用されることができるブロックベースの垂直スキャン(ｂｌｏｃｋ−ｂａｓｅｄ ｖｅｒｔｉｃａｌ ｓｃａｎ)の他の例を示す。

【0126】

図１３に示すように、８×８大きさの２次元量子化行列内の係数を２×８大きさのブロックベースの垂直スキャンを使用して１次元形態の係数配列に整列することができる。このとき、２×８大きさのブロック内の係数に対して垂直スキャンを実行し、また、各２×８大きさのブロック間にも垂直スキャン方向を適用することができる。

【0127】

一方、ブロック(ｂｌｏｃｋ)は、特定ブロック大きさから分割された下位ブロック(ｓｕｂ ｂｌｏｃｋ、又は副ブロック又はサブブロック)であってもよい。もし、前述したブロックベースのスキャンが使われる場合、特定ブロック大きさ内のサブブロック間にも対角スキャン、垂直スキャン、水平スキャンなどのようなスキャン方式を利用してサブブロックをスキャンすることができる。例えば、図９のようにブロックベースの対角スキャンが使われる場合、８×８大きさのブロックを４個の４×４大きさのサブブロックに分割した後、４×４大きさのサブブロック間に対角スキャンを利用してスキャンし、各４×４大きさのサブブロック内の係数も対角スキャンを利用してスキャンすることができる。

【0128】

前述した図６乃至図１３の(ａ)に示すスキャン方法は、４×４変換係数ブロックのための４×４大きさの量子化行列に使われることができ、図６乃至図１３の(ｂ)に示すスキャン方法は、８×８/１６×１６/３２×３２変換係数ブロックのための８×８大きさ以上の量子化行列に使われることができる。前述した図６乃至図１３に示すスキャン方法は、最大８×８大きさの量子化行列に対して適用されたが、８×８より大きい大きさの量子化行列に対しても同一に適用されることができる。また、前述した図６乃至図１３に示すスキャン方法は、正方形(ｓｑｕａｒｅ)形態の量子化行列だけでなく、非正方形(ｎｏｎ−ｓｑｕａｒｅ)形態の量子化行列にも適用されることができる。

【0129】

また、図５を参照すると、符号化装置は、スキャンされた量子化行列係数に基づいて量子化行列係数間の差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を生成する(Ｓ５２０)。即ち、符号化装置は、前述したスキャン方法によって１次元形態の係数配列内で現在量子化行列係数と以前量子化行列係数との間の差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を生成する。このとき、前記差分値は、ＤＰＣＭを利用して計算された値である。

【0130】

現在量子化行列係数は、１次元形態の係数配列上で現在符号化対象量子化行列係数であってもよく、以前量子化行列係数は、１次元形態の係数配列上で現在量子化行列係数の直前配列順序に位置する係数であってもよい。また、１次元形態の係数配列内の最初の係数は、予測対象になる以前量子化行列係数がないため、所定の定数値を利用して差分値を生成することができる。所定の定数値は、例えば、１〜２５５の値であり、特に、８又は１６である。

【0131】

符号化装置は、現在量子化行列係数と以前量子化行列係数との間の差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を符号化する(Ｓ５３０)。

【0132】

例えば、符号化装置は、前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を指数−ゴロムコードに符号化することができる。前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)が符号(ｓｉｇｎ)情報を有する場合、前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)は、符号を有する指数−ゴロムコードに符号化されることができる。このとき、前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)は、−１２８〜１２７の値に限定されることができ、−１２８〜１２７の値に符号化されることができる。

【0133】

図１４は、本発明の実施例に係る量子化行列の復号化方法を概略的に示す流れ図である。図１４の方法は、前述した図２の映像復号化装置で実行されることができる。

【0134】

図１４を参照すると、復号化装置は、量子化行列の存在有無に対する情報を復号化することができる(Ｓ１４１０)。例えば、復号化装置は、量子化行列の存在有無を示す情報をパラメータセットで復号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0135】

一例として、復号化装置は、符号化器から送信されたビットストリーム内の量子化行列の存在有無を示すフラグ(例えば、表２に示すｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇ)をパラメータセットで復号化することができる。もし、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇ値が０の場合、量子化行列が存在しないことを意味し、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇ値が１の場合、符号化された量子化行列が存在することを意味する。このとき、量子化行列が存在しない場合(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｓｅｎｔ_ｆｌａｇ＝０)、全ての量子化行列を基本行列に決定することができる。

【0136】

復号化装置は、量子化行列の予測方法に対する情報を復号化することができる(Ｓ１４２０)。例えば、復号化装置は、量子化行列の予測方法に対する情報をパラメータセットで復号化し、量子化行列の予測方法の種類に対して決定することができる。このとき、パラメータセットは、適応パラメータセットである。

【0137】

一例として、復号化装置は、符号化器から送信された量子化行列予測方法に対する情報を示すフラグ(例えば、表２に示すｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ)をパラメータセットで復号化することができる。もし、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ値が１の場合、量子化行列内の係数を予測するために、量子化行列係数を指数−ゴロムコード、逆ＤＰＣＭ(ｉｎｖｅｒｓｅ ＤＰＣＭ)、スキャンを利用して復号化することができる。ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ値が０の場合、量子化行列間予測のために、復号化対象量子化行列係数値を参照量子化行列係数値と同じ値を有するように決定し、又は復号化対象量子化行列係数値を基本行列係数値と同じ値を有するように決定することができる。このとき、量子化行列間の係数値が同じであるというのは、特定量子化行列係数値を復号化対象量子化行列係数値に複写する量子化行列予測方法である。

【0138】

復号化装置は、量子化行列の予測方法に対する情報に基づいて量子化行列間予測のために、量子化行列識別子を復号化し、又は量子化行列内の係数を予測復号化することができる(Ｓ１４３０)。

【0139】

一例として、量子化行列の予測方法が量子化行列間予測のために、参照量子化行列と同じ係数値を有するように復号化対象量子化行列を決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝０)の場合、復号化対象量子化行列の参照量子化行列識別子をパラメータセットで復号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0140】

前記表２の構文要素の例のように、復号化対象量子化行列の参照量子化行列識別子を指示する情報(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)をパラメータセットで復号化することができる。このとき、参照量子化行列識別子を指示するｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａと復号化対象量子化行列を指示するｍａｔｒｉｘＩＤを利用し、復号化対象量子化行列の参照量子化行列(ＲｅｆＭａｔｒｉｘＩＤ)を決定することができる。例えば、数式３のように参照量子化行列(ＲｅｆＭａｔｒｉｘＩＤ)を決定することができる。

【0141】

【数3】

【0142】

前記数式３のような方法により決定されたＲｅｆＭａｔｒｉｘＩＤが指示する量子化行列を復号化対象量子化行列の参照量子化行列に決定し、復号化対象量子化行列係数値を参照量子化行列係数値と同一に設定することができる。復号化対象量子化行列係数値を参照量子化行列係数値と同一に設定することは、ＲｅｆＭａｔｒｉｘＩＤが指示する参照量子化行列係数値を復号化対象量子化行列係数値に複写する量子化行列予測方法である。

【0143】

他の例として、量子化行列の予測方法が量子化行列間予測のために、参照量子化行列又は基本行列と同じ係数値を有するように復号化対象量子化行列を決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝０)の場合、復号化対象量子化行列の参照量子化行列識別子と基本行列使用可否を指示する情報をパラメータセットで復号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0144】

前記表２の構文要素の例のように、復号化対象量子化行列の参照量子化行列識別子と基本行列使用可否を指示する情報(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ)をパラメータセットで復号化することができる。このとき、参照量子化行列識別子を指示するｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａと復号化対象量子化行列を指示するｍａｔｒｉｘＩＤを利用し、復号化対象量子化行列の参照量子化行列(ＲｅｆＭａｔｒｉｘＩＤ)を決定することができる。例えば、数式４のように参照量子化行列(ＲｅｆＭａｔｒｉｘＩＤ)を決定することができる。

【0145】

【数4】

【0146】

ＲｅｆＭａｔｒｉｘＩＤ値がｍａｔｒｉｘＩＤ値と同じ場合、復号化対象量子化行列係数値は、符号化器及び復号化器で予め決められた基本行列係数値と同一に決定される。このとき、基本行列は、ｓｉｚｅＩＤとｍａｔｒｉｘＩＤが指示する基本行列を意味する。そして、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍａｔｒｉｘ_ｉｄ_ｄｅｌｔａ値が０の場合、ＲｅｆＭａｔｒｉｘＩＤ値とｍａｔｒｉｘＩＤ値は同じであることを意味する。

【0147】

ＲｅｆＭａｔｒｉｘＩＤ値がｍａｔｒｉｘＩＤ値と同じでない場合、ＲｅｆＭａｔｒｉｘＩＤが指示する量子化行列を復号化対象量子化行列の参照量子化行列に決定し、復号化対象量子化行列係数値を参照量子化行列係数値と同一に設定する。復号化対象量子化行列係数値を参照量子化行列係数値と同一に設定することは、ＲｅｆＭａｔｒｉｘＩＤが指示する参照量子化行列係数値を復号化対象量子化行列係数値に複写する量子化行列予測方法である。

【0148】

他の例として、量子化行列の予測方法が量子化行列内の係数を予測復号化するために、指数−ゴロムコード、逆ＤＰＣＭ、スキャンを利用することに決定した場合(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｐｒｅｄ_ｍｏｄｅ_ｆｌａｇ＝１)の場合、量子化行列内で以前に復号化された量子化行列係数値と現在復号化対象量子化行列係数値との間の差分値をパラメータセットで復号化することができる。このとき、パラメータセットは、適応パラメータセットである。

【0149】

前記表５の構文要素の例のように、復号化対象量子化行列の大きさが１６×１６(ｓｉｚｅＩＤ＝２)又は３２×３２(ｓｉｚｅＩＤ＝３)の場合、ＤＣ行列係数値を示す情報(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８)をパラメータセットで復号化することができる。ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８の値は、８ビットで表現することができる−７〜２４７の値に限定されることができ、符号を有する指数−ゴロムコードを利用して−７〜２４７の値に復号化することができる。このとき、ＤＣ行列係数値は、次(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８＋８)の値に計算され、前記計算された値は、１〜２５５の値である。

【0150】

または、前記表５の構文要素の例のように、量子化行列内で以前に復号化された量子化行列係数値と現在復号化対象量子化行列係数値との間の差分値を示す情報(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)をパラメータセットで復号化することができる。例えば、基本行列を使用する場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆが１個のみ復号化されることができる。または、４×４大きさの量子化行列を復号化する場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆは、４×４大きさの量子化行列内の係数の個数である総１６個の値が復号化されることができる。または、８×８大きさ以上の変換係数ブロックに使用する量子化行列を復号化する場合、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆは、８×８大きさの量子化行列内の係数の個数である総６４個の値が復号化されることができる。量子化行列内の係数間の差分値(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を利用して量子化行列係数を予測復号化する方法は、図１７を参照して詳細に後述する。

【0151】

一方、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８又はｎｅｘｔＣｏｅｆの計算に使われるｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを利用して基本行列使用可否を決定することができる。例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８の値が−８に復号化されると、復号化対象量子化行列を基本行列に決定することができ、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆを復号化して計算された１番目のｎｅｘｔＣｏｅｆ値が０の場合、復号化対象量子化行列を基本行列に決定することができる。

【0152】

復号化装置は、量子化行列を復元することができる(Ｓ１４４０)。このとき、復号化装置は、アップサンプリング、補間、ＤＣ行列係数代替、又はサブサンプリングなどを利用して２次元量子化行列に復元することもできる。

【0153】

一例として、４×４、８×８、１６×１６、３２×３２などの正方形変換係数ブロックに使われる量子化行列の場合、整列された２次元量子化行列をそのまま量子化/逆量子化時に使用し、又は整列された２次元量子化行列をアップサンプリングして復元した後、量子化/逆量子化時に使用することができる。

【0154】

４×４大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、整列された２次元４×４大きさの量子化行列(ＱＭ)をそのまま利用することができる。これは数式５のように示すことができる。

【0155】

【数5】

【0156】

８×８大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、整列された２次元８×８大きさの量子化行列(ＱＭ)をそのまま利用することができる。これは数式６のように示すことができる。

【0157】

【数6】

【0158】

１６×１６大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、整列された２次元８×８大きさの量子化行列(ＱＭ)をアップサンプリングすることで、１６×１６大きさの量子化行列に復元されることができる。このとき、量子化行列(ＲＱＭ)内のＤＣ位置、即ち、(０,０)位置に存在する量子化行列係数は、ＤＣ行列係数値である(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８＋８)の値に代替されることができる。これは数式７のように示すことができる。

【0159】

【数7】

【0160】

３２×３２大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、整列された２次元８×８大きさの量子化行列(ＱＭ)をアップサンプリングすることで、３２×３２大きさの量子化行列に復元されることができる。このとき、量子化行列(ＲＱＭ)内のＤＣ位置、即ち、(０,０)位置に存在する量子化行列係数は、ＤＣ行列係数値である(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｃ_ｃｏｅｆ_ｍｉｎｕｓ８＋８)の値に代替されることができる。これは数式８のように示すことができる。

【0161】

【数8】

【0162】

量子化行列をアップサンプリングする方法は、図１５に示すように実行されることができる。例えば、図１５に示すように、８×８大きさの量子化行列を１６×１６大きさの量子化行列にアップサンプリングする場合、１６×１６大きさの量子化行列内でアップサンプリングされなければならない位置の係数は、最も近い隣接係数から複写されることができる。もちろん、８×８大きさの量子化行列を利用して３２×３２大きさの量子化行列にアップサンプリングする場合に対しても図１５のような方法を同一に適用することができる。

【0163】

このとき、前記のように最も近い隣接係数から複写するアップサンプリング方法は、最近接隣接補間法(ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ)又は０次補間(ｚｅｒｏｔｈ ｏｒｄｅｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ)方法と呼ばれる。

【0164】

他の例として、１６×４、４×１６、３２×８、８×３２などの非正方形変換係数ブロックに使われる量子化行列の場合、整列された２次元量子化行列をサブサンプリング(又は、ダウンサンプリング)して復元した後、量子化/逆量子化時に使用することができる。

【0165】

１６×４大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、１６×１６大きさの量子化行列(ＱＭ)をサブサンプリングして１６×４大きさの量子化行列に復元されることができる。

【0166】

ここで、量子化行列をサブサンプリングする方法は、図１６に示すように実行されることができる。例えば、図１６の(ａ)に示すように、１６×１６大きさの量子化行列を１６×４大きさの量子化行列にサブサンプリングする場合、１６×１６大きさの復元された量子化行列をｙ位置、即ち、行方向(垂直方向)に対してサブサンプリングを実行することで、１６×４大きさの量子化行列を誘導することができる。

【0167】

このような１６×１６大きさの量子化行列をサブサンプリングして１６×４大きさの量子化行列に復元する過程は、数式９のように示すことができる。

【0168】

【数9】

【0169】

４×１６大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、１６×１６大きさの量子化行列(ＱＭ)をサブサンプリングして４×１６大きさの量子化行列に復元されることができる。

【0170】

ここで、量子化行列をサブサンプリングする方法は、図１６に示すように実行されることができる。例えば、図１６の(ｂ)に示すように、１６×１６大きさの量子化行列を４×１６大きさの量子化行列にサブサンプリングする場合、１６×１６大きさの復元された量子化行列をｘ位置、即ち、列方向(水平方向)に対してサブサンプリングを実行することで、４×１６大きさの量子化行列を誘導することができる。

【0171】

このような１６×１６大きさの量子化行列をサブサンプリングして４×１６大きさの量子化行列に復元する過程は、数式１０のように示すことができる。

【0172】

【数10】

【0173】

３２×８大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、３２×３２大きさの量子化行列(ＱＭ)をサブサンプリングして３２×８大きさの量子化行列に復元されることができる。このとき、図１６の(ａ)に示すような方式により、３２×３２大きさの復元された量子化行列をｙ位置、即ち、行方向(垂直方向)に対してサブサンプリングを実行することで、３２×８大きさの量子化行列を誘導することができる。

【0174】

このような３２×３２大きさの量子化行列をサブサンプリングして３２×８大きさの量子化行列に復元する過程は、数式１１のように示すことができる。

【0175】

【数11】

【0176】

８×３２大きさの変換係数ブロックの逆量子化時に使われる量子化行列(ＲＱＭ)は、３２×３２大きさの量子化行列(ＱＭ)をサブサンプリングして８×３２大きさの量子化行列に復元されることができる。このとき、図１６の(ｂ)に示すような方式により、３２×３２大きさの復元された量子化行列をｘ位置、即ち、列方向(水平方向)に対してサブサンプリングを実行することで、８×３２大きさの量子化行列を誘導することができる。

【0177】

このような３２×３２大きさの量子化行列をサブサンプリングして８×３２大きさの量子化行列に復元する過程は、数式１２のように示すことができる。

【0178】

【数12】

【0179】

一方、基本行列に対してもアップサンプリング又はサブサンプリングを実行して量子化/逆量子化時に使用することができる。例えば、８×８大きさの基本行列をアップサンプリングすることで、１６×１６又は３２×３２大きさの量子化行列に復元されることができる。

【0180】

１６×１６大きさの変換係数ブロックの逆量子化時に使われる基本行列(ＲＱＭ)は、図１５に示すような方式により、８×８大きさの基本行列(ＤＱＭ)をアップサンプリングすることで、１６×１６大きさの量子化行列に復元されることができる。これは数式１３のように示すことができる。

【0181】

【数13】

【0182】

３２×３２大きさの変換係数ブロックの逆量子化時に使われる基本行列(ＲＱＭ)は、図１５に示すような方式により、８×８大きさの基本行列(ＤＱＭ)をアップサンプリングすることで、３２×３２大きさの量子化行列に復元されることができる。これは数式１４のように示すことができる。

【0183】

【数14】

【0184】

前記のように、８×８大きさの基本行列に対してアップサンプリングを実行することによって１６×１６又は３２×３２大きさの量子化行列に復元する場合、符号化器及び復号化器に基本行列を格納するために必要なメモリ空間を節約することができる。即ち、１６×１６及び/又は３２×３２大きさの基本行列を格納する代わりに８×８大きさの基本行列をメモリに格納するため、符号化器及び復号化器の格納空間を節約することができる。

【0185】

前記数式５乃至数式１４において、ｘは、２次元量子化行列内の係数のｘ座標を示す値であり、ｙは、２次元量子化行列内の係数のｙ座標を示す値である。

【0186】

図１７は、本発明の実施例に係る量子化行列係数を予測復号化する方法を概略的に示す流れ図である。図１７の方法は、前述した図２の映像復号化装置で実行されることができる。また、図１７の方法は、前述した図１４のステップＳ１４３０において、量子化行列内の係数間の差分値(ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)に基づいて量子化行列係数を予測して復号化する過程である。

【0187】

図１７を参照すると、復号化装置は、量子化行列係数の差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を復号化する(Ｓ１７１０)。

【0188】

例えば、復号化装置は、量子化行列係数の差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)を指数−ゴロムコードを利用して復号化することができる。

【0189】

前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)は、−１２８〜１２７の限定された値である。このとき、前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)は、符号(ｓｉｇｎ)情報を有するため、符号を有する指数−ゴロムコードを利用して−１２８〜１２７の値に復号化されることができる。

【0190】

復号化装置は、復号化された前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)に基づいて量子化行列係数を生成する(Ｓ１７２０)。

【0191】

このとき、復号化された前記差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)は、復号化された順序通りに１次元形態の係数配列又は２次元形態の行列に格納されることができる。したがって、復号化装置は、１次元形態の係数配列又は２次元形態の行列内で現在量子化行列係数の復号化された差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)と以前量子化行列係数を加えて量子化行列係数を復元することができる。このとき、復元された量子化行列係数は、逆ＤＰＣＭを利用して計算された値である。

【0192】

現在量子化行列係数は、復元される１次元形態の量子化配列又は２次元行列内で現在復号化対象量子化行列係数であり、以前量子化行列係数は、復元される１次元形態の量子化配列又は２次元行列内で現在量子化行列係数の直前配列順序又は行列順序に位置する係数であり、復元された値を有することができる。

【0193】

また、量子化行列の１番目の係数は、予測対象になる以前量子化行列係数がないため、所定の定数値を利用して復元されることができる。所定の定数値は、例えば、１〜２５５の値であり、特に、８又は１６である。したがって、復元された量子化行列係数は、１〜２５５の値である。

【0194】

例えば、表５のように、復号化装置は、復号化された差分値(例えば、ｓｃａｌｉｎｇ_ｌｉｓｔ_ｄｅｌｔａ_ｃｏｅｆ)と以前量子化行列係数を加えて現在量子化行列係数であるｎｅｘｔＣｏｅｆ又はｓｃａｌｉｎｇＬｉｓｔ[ｉ]を復元することができる。ここで、ｉは、１次元形態の量子化配列内で位置(順序)を指示するためのインデックス値である。

【0195】

復号化装置は、復元された量子化行列係数をスキャンして量子化行列に整列する(Ｓ１７３０)。

【0196】

例えば、前述した図６乃至図１３に示すような対角スキャン、水平スキャン、垂直スキャン、ブロックベースの対角スキャン、ブロックベースの水平スキャン、ブロックベースの垂直スキャンなどを使用することができる。前記スキャン方法に対しては図６乃至図１３を参照して詳述したため、詳細な説明は省略する。ここで、復号化装置では、符号化装置の量子化行列スキャンと反対に、復元された量子化行列係数をスキャンして２次元量子化行列に整列することができる。このとき、復元された量子化行列係数は、１次元配列に存在する状態で２次元量子化行列に整列されることがきる。

【0197】

一例として、復号化装置では、符号化装置でからシグナリングされたスキャン方法を利用して量子化行列係数をスキャンすることができる。このとき、符号化装置では、前述した図６乃至図１３に示すようなスキャン方法のうち一つを利用して量子化行列係数をスキャンした後、この情報をシグナリングすることができる。または、復号化装置では、所定の条件によって量子化行列係数のスキャン方法を決定することもできる。

【0198】

一方、前述した本発明の実施例に係る量子化行列の復号化過程では、ジグザグスキャンの初期化過程がなくなることができる。

【0199】

例えば、８×８、１６×１６、３２×３２大きさの変換係数ブロックに使われることができる符号化器と復号化器で予め定義された８×８大きさの基本行列に、前述した本発明の一実施例に係るブロックベースの対角スキャン方法を適用すると、表６のような配列索引によって量子化行列係数が再整列されることができる。表６は、変換係数ブロックの大きさ、予測モード、色成分による８×８大きさの基本行列の係数値を示す。

【0200】

【表6】

【0201】

表６を参照すると、ｉは、スキャン順序を示し、ＳｃａｌｉｎｇＬｉｓｔ[ｓｉｚｅＩＤ][ｍａｔｒｉｘＩＤ][ｉ]は、ｓｉｚｅＩＤ、ｍａｔｒｉｘＩＤ、ｉが指示する基本行列係数を示す。ｓｉｚｅＩＤは、前述した表３のように変換係数ブロックの大きさ又は量子化行列の大きさを指示する値であり、ｍａｔｒｉｘＩＤは、前述した表４のように予測モード及び色成分による量子化行列識別子を指示する値である。

【0202】

以下、本発明の一実施例に係るブロックベースの対角スキャンを適用する場合、ＳｃａｌｉｎｇＬｉｓｔ[ｓｉｚｅＩＤ][ｍａｔｒｉｘＩＤ][ｉ]を利用して４×４、８×８、１６×１６、３２×３２大きさの量子化行列を復元する方法に対して説明する。このとき、復元された量子化行列は、ＳｃａｌｉｎｇＦａｃｔｏｒ[ｓｉｚｅＩｄ][ＭａｔｒｉｘＩＤ][ｘ][ｙ]で表すことができ、ｓｉｚｅＩＤとＭａｔｒｉｘＩＤによるＳｃａｌｉｎｇＦａｃｔｏｒの配列を意味する。

【0203】

４×４大きさの量子化行列の元素ＳｃａｌｉｎｇＦａｃｔｏｒ[０][ＭａｔｒｉｘＩＤ][０][]は、数式１５のように誘導されることができる。

【0204】

【数15】

【0205】

ここで、ｘ＝ＤｉａｇＳｃａｎ[ｉ][０]であり、ｙ＝ＤｉａｇＳｃａｎ[ｉ][１]である。このとき、ＤｉａｇＳｃａｎ[][]は、前述した図９の(ａ)に示すような対角スキャン方法であり、右上方対角スキャニング配列初期化過程(Ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎｎｉｎｇ ａｒｒａｙ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)にブロック幅(ｂｌｋＷｉｄｔｈ)値として４とブロック高さ(ｂｌｋＨｅｉｇｈｔ)値として４を入力して生成された配列である。

【0206】

８×８大きさの量子化行列の元素ＳｃａｌｉｎｇＦａｃｔｏｒ[１][ＭａｔｒｉｘＩＤ][０][]は、数式１６のように誘導されることができる。

【0207】

【数16】

【0208】

ここで、ｘ＝ＤｉａｇＳｃａｎ[ｉ][０]であり、ｙ＝ＤｉａｇＳｃａｎ[ｉ][１]である。このとき、ＤｉａｇＳｃａｎ[][]は、前述した図９の(ｂ)に示すようなブロックベースの対角スキャン方法であり、右上方対角スキャニング配列初期化過程(Ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎｎｉｎｇ ａｒｒａｙ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)にブロック幅(ｂｌｋＷｉｄｔｈ)値として８とブロック高さ(ｂｌｋＨｅｉｇｈｔ)値として８を入力して生成された配列である。

【0209】

１６×１６大きさの量子化行列の元素ＳｃａｌｉｎｇＦａｃｔｏｒ[２][ＭａｔｒｉｘＩＤ][０][]は、数式１７のように誘導されることができる。そして、１６×１６大きさの量子化行列内の(０,０)位置に存在する量子化行列の元素は、数式１８のように誘導されることができる。

【0210】

【数17】

【0211】

ここで、ｘ＝ＤｉａｇＳｃａｎ[ｉ][０]であり、ｙ＝ＤｉａｇＳｃａｎ[ｉ][１]である。このとき、ＤｉａｇＳｃａｎ[][]は、前述した図９の(ｂ)に示すようなブロックベースの対角スキャン方法であり、右上方対角スキャニング配列初期化過程(Ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎｎｉｎｇ ａｒｒａｙ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)にブロック幅(ｂｌｋＷｉｄｔｈ)値として８とブロック高さ(ｂｌｋＨｅｉｇｈｔ)値として８を入力して生成された配列である。

【0212】

【数18】

【0213】

３２×３２大きさの量子化行列の元素ＳｃａｌｉｎｇＦａｃｔｏｒ[３][ＭａｔｒｉｘＩＤ][０][]は、数式１９のように誘導されることができる。そして、３２×３２大きさの量子化行列内の(０,０)位置に存在する量子化行列の元素は、数式２０のように誘導されることができる。

【0214】

【数19】

【0215】

ここで、ｘ＝ＤｉａｇＳｃａｎ[ｉ][０]であり、ｙ＝ＤｉａｇＳｃａｎ[ｉ][１]である。このとき、ＤｉａｇＳｃａｎ[][]は、前述した図９の(ｂ)に示すようなブロックベースの対角スキャン方法であり、右上方対角スキャニング配列初期化過程(Ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎｎｉｎｇ ａｒｒａｙ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)にブロック幅(ｂｌｋＷｉｄｔｈ)値として８とブロック高さ(ｂｌｋＨｅｉｇｈｔ)値として８を入力して生成された配列である。

【0216】

【数20】

【0217】

前述した右上方対角スキャニング配列初期化過程(Ｕｐ−ｒｉｇｈｔ ｄｉａｇｏｎａｌ ｓｃａｎｎｉｎｇ ａｒｒａｙ ｉｎｉｔｉａｌｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)は、下記のように実行されることができる。

【0218】

ここで、入力は、ブロック幅(ｂｌｋＷｉｄｔｈ)とブロック高さ(ｂｌｋＨｅｉｇｈｔ)である。出力は、配列ＤｉａｇＳｃａｎ[ｓＰｏｓ][ｓＣｏｍｐ]である。配列索引ｓＰｏｓは、０〜(ｂｌｋＷｉｄｔｈＳｉｚｅ＊ｂｌｋＨｅｉｇｈｔＳｉｚｅ)−１の値であり、スキャン位置を示す。例えば、配列索引ｓＣｏｍｐが０の場合、水平成分を示し、配列索引ｓＣｏｍｐが１の場合、垂直成分を示す。ブロック幅(ｂｌｋＷｉｄｔｈ)とブロック高さ(ｂｌｋＨｅｉｇｈｔ)の値によって、配列ＤｉａｇＳｃａｎ[ｓＰｏｓ][ｓＣｏｍｐ]は、下記のように誘導されることができる。

【0219】

ブロック幅(ｂｌｋＷｉｄｔｈ)が８より小さく、且つブロック高さ(ｂｌｋＨｅｉｇｈｔ)が８より小さい場合、表７のように右上方対角スキャニング配列初期化過程が実行されて配列ＤｉａｇＳｃａｎ[ｓＰｏｓ][ｓＣｏｍｐ]が誘導されることができる。そうでない場合(ブロック幅(ｂｌｋＷｉｄｔｈ)が４より大きい、又はブロック高さ(ｂｌｋＨｅｉｇｈｔ)が４より大きい場合)、表８のように右上方対角スキャニング配列初期化過程が実行されて配列ＤｉａｇＳｃａｎ[ｓＰｏｓ][ｓＣｏｍｐ]が誘導されることができる。

【0220】

【表7】

【0221】

【表8】

【0222】

以上、本発明の一実施例に係るブロックベースの対角スキャンを適用する場合、４×４、８×８、１６×１６、３２×３２大きさの量子化行列を復元する方法に対して説明したが、本発明は、ブロックベースの対角スキャンにのみ限定されるものではなく、前述した図６乃至図１３に示すような対角スキャン、水平スキャン、垂直スキャン、ブロックベースの対角スキャン、ブロックベースの水平スキャン、ブロックベースの垂直スキャンなどを使用して４×４、８×８、１６×１６、３２×３２大きさの量子化行列を復元することができる。また、このような方法により復元された量子化行列は、符号化器で量子化/逆量子化時に使われ、復号化器で逆量子化時に使われる。

【0223】

前述した実施例によると、符号化器において、量子化の際、変換係数に量子化行列を使用して変換係数レベルを生成し、復号化器において、逆量子化の際、変換係数レベルに量子化行列を使用して変換係数を生成する。しかし、本発明では変換係数と変換係数レベルを両方とも変換係数と通称して表現した。

【0224】

前述した実施例において、方法は、一連のステップ又はブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序に又は同時に発生することができる。また、当該技術分野において通常の知識を有する者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれている、又は流れ図の一つ又はそれ以上のステップが本発明の範囲に影響を及ぼさずに削除可能であることを理解することができる。

【0225】

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の本質的な特性から外れない範囲内で多様な修正及び変形が可能である。したがって、本発明に開示された実施例は、本発明の技術思想を限定するためのものではなく、説明するためのものであり、このような実施例によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は、特許請求の範囲によって解釈されなければならず、それらと同等な範囲内にある全ての技術思想は、本発明の権利範囲に含まれると解釈されなければならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】