IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サムスン エレクトロニクス カンパニー リミテッドの特許一覧

特許7684311量子化パラメータを獲得するためのビデオ復号方法及びその装置、量子化パラメータを伝送するためのビデオ符号化方法及びその装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-19
(45)【発行日】2025-05-27
(54)【発明の名称】量子化パラメータを獲得するためのビデオ復号方法及びその装置、量子化パラメータを伝送するためのビデオ符号化方法及びその装置
(51)【国際特許分類】
   H04N 19/70 20140101AFI20250520BHJP
【FI】
H04N19/70
【請求項の数】 4
(21)【出願番号】P 2022542286
(86)(22)【出願日】2021-01-08
(65)【公表番号】
(43)【公表日】2023-03-14
(86)【国際出願番号】 KR2021000275
(87)【国際公開番号】W WO2021141451
(87)【国際公開日】2021-07-15
【審査請求日】2023-11-13
(31)【優先権主張番号】62/959,452
(32)【優先日】2020-01-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】503447036
【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】パク,ミンウ
(72)【発明者】
【氏名】パク,ミンス
(72)【発明者】
【氏名】チェー,キホ
(72)【発明者】
【氏名】ピョ,インジ
(72)【発明者】
【氏名】キム,チャンヨル
(72)【発明者】
【氏名】ソン,ユミ
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2014-195319(JP,A)
【文献】Jonatan Samuelsson ほか2名,AHG9: On Picture Header,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, JVET-Q JVET-Q0259,2019年12月31日,p.1-10
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00-19/98
(57)【特許請求の範囲】
【請求項1】
ピクチャパラメーターセットから、現在ピクチャに適用されるQP(quantization parameter)初期値を獲得する段階と、 前記ピクチャパラメーターセットから、前記現在ピクチャのピクチャヘッダに、QP差分値が存在するか否かということを示すQP差分値フラグを獲得する段階と、 前記QP差分値フラグが、前記現在ピクチャのピクチャヘッダに、QP差分値が存在することを示す場合、前記ピクチャヘッダから、前記現在ピクチャのための第1 QP差分値を獲得し、前記現在ピクチャのために獲得された前記第1 QP差分値と前記QP初期値を用いて前記現在ピクチャに含まれた少なくとも1つのスライスのための第1 QPを決定する段階と、 前記少なくとも1つのスライスのための第1 QPを用いて前記少なくとも1つのスライスのうち第1スライスに含まれた変換係数に対して逆量子化を遂行する段階と、 前記QP差分値フラグが、前記ピクチャヘッダに、前記QP差分値が存在しないことを示す場合、前記現在ピクチャに含まれた現在スライスのスライスヘッダから、前記現在スライスのための第2 QP差分値を獲得し、前記現在スライスのために獲得された前記第2 QP差分値と前記QP初期値とを用いて前記現在スライスのための第2 QPを決定する段階と、 前記第2 QPを利用し、前記現在スライスに含まれた変換係数に対して逆量子化を遂行する段階と、を含み、 前記QP差分値フラグによって前記現在ピクチャのピクチャヘッダから前記第1 QP差分値が獲得される場合、前記現在ピクチャに含まれた前記少なくとも1つのスライスのためのQP差分値が前記少なくとも1つのスライスのスライスヘッダから別途に獲得されない、 ことを特徴とするビデオ復号方法。
【請求項2】
ビデオ復号装置において、 ピクチャパラメーターセットから、現在ピクチャに適用されるQP(quantization parameter)初期値を獲得し、 前記ピクチャパラメーターセットから、前記現在ピクチャのピクチャヘッダに、QP差分値が存在するか否かということを示すQP差分値フラグを獲得し、前記QP差分値フラグが、前記ピクチャヘッダに、前記QP差分値が存在することを示せば、前記ピクチャヘッダから、現在ピクチャのための第1 QP差分値を獲得し、前記QP差分値フラグが、前記ピクチャヘッダに、前記QP差分値が存在しないことを示す場合、 前記現在ピクチャに含まれた現在スライスのスライスヘッダから、前記現在スライスのための第2 QP差分値を獲得する獲得部と、 前記QP差分値フラグが、前記現在ピクチャのピクチャヘッダにQP差分値が存在することを示す場合、前記現在ピクチャのために獲得された前記第1 QP差分値と前記QP初期値とを用いて前記現在ピクチャに含まれた少なくとも1つのスライスのための第1 QPを決定し、前記少なくとも1つのスライスのための第1 QPを用いて前記少なくとも1つのスライスのうち第1スライスに含まれた変換係数に対して逆量子化を遂行し、 前記QP差分値フラグが、前記ピクチャヘッダに、前記QP差分値が存在しないことを示す場合、前記現在スライスのために獲得された前記第2 QP差分値と前記QP初期値とを用いて前記現在スライスのための第2 QPを決定し、前記第2 QPを用いて前記現在スライスに含まれた変換係数に対して逆量子化を遂行する復号部と、を含み、 前記QP差分値フラグによって前記現在ピクチャのピクチャヘッダから前記第1 QP差分値が獲得される場合、前記現在ピクチャに含まれた前記少なくとも1つのスライスのためのQP差分値が前記少なくとも1つのスライスのスライスヘッダから別途に獲得されない、 ことを特徴とするビデオ復号装置。
【請求項3】
ビデオ符号化方法によって生成されたビットストリームを伝送する方法であって、 現在ピクチャに適用されるQP(quantization parameter)初期値を決定する段階と、 前記現在ピクチャのピクチャヘッダに、QP差分値の存否を示す、QP差分値フラグを符号化する段階と、 前記QP差分値フラグが、前記現在ピクチャのピクチャヘッダにQP差分値が存在することを示すように符号化される場合、前記現在ピクチャに含まれた少なくとも1つのスライスのための第1 QPを用いて前記少なくとも1つのスライスに含まれた変換係数に対して量子化を遂行し、現在ピクチャで使用された前記第1 QPと、前記QP初期値との間の第1 QP差分値を決定し、前記第1 QP差分値を含む、前記現在ピクチャのためのピクチャヘッダを生成する段階と、 前記QP差分値フラグが、前記ピクチャヘッダに前記QP差分値が存在しないことを示すように符号化される場合、前記現在ピクチャに含まれた現在スライスのための第2 QPを用いて前記現在スライスに含まれた変換係数に対して量子化を遂行し、前記現在ピクチャに含まれた前記現在スライスで使用された前記第2 QPと、前記QP初期値との間の第2 QP差分値を決定し、前記第2 QP差分値を含む、前記現在スライスに係わるスライスヘッダを生成する段階と、 前記QP差分値フラグと前記QP初期値とを含むピクチャパラメーターセットを生成する段階と、 前記ピクチャパラメーターセットを含むビットストリームを伝送する段階と、 を含み、 前記現在ピクチャのピクチャヘッダに前記第1 QP差分値が存在する場合、前記現在ピクチャに含まれた前記少なくとも1つのスライスのためのQP差分値を前記少なくとも1つのスライスのスライスヘッダに別途に含めない、 ことを特徴とする方法。
【請求項4】
ビデオ符号化装置において、 現在ピクチャに適用されるQP初期値を決定する量子化部と、 前記現在ピクチャのピクチャヘッダに、QP差分値の存否を示す、QP差分値フラグを符号化し、前記QP初期値と前記QP差分値フラグとを含むピクチャパラメーターセットを生成する情報符号化部と、を含み、 前記QP差分値フラグが、前記現在ピクチャのピクチャヘッダにQP差分値が存在することを示すように符号化される場合、前記量子化部は、前記現在ピクチャに含まれた少なくとも1つのスライスのための第1 QPを用いて前記少なくとも1つのスライスに含まれた変換係数に対して量子化を遂行し、前記情報符号化部は、現在ピクチャで使用された前記第1 QPと前記QP初期値との間の第1 QP差分値を決定し、前記第1 QP差分値を含む、前記現在ピクチャのためのピクチャヘッダを生成し、 前記QP差分値フラグが、前記ピクチャヘッダに前記QP差分値が存在しないことを示すように符号化される場合、前記量子化部は、前記現在ピクチャに含まれた現在スライスのための第2 QPを用いて前記現在スライスに含まれた変換係数に対して量子化を遂行し、前記情報符号化部は、前記現在ピクチャに含まれた前記現在スライスで使用された前記第2 QPと、前記QP初期値との間の第2 QP差分値を決定し、前記第2 QP差分値を含む、前記現在スライスに対するスライスヘッダを生成し、 前記現在ピクチャのピクチャヘッダに前記第1 QP差分値が存在する場合、前記情報符号化部は、前記現在ピクチャに含まれた前記少なくとも1つのスライスのためのQP差分値を前記少なくとも1つのスライスのスライスヘッダに別途に含めない、 ことを特徴とする、ビデオ符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオ復号方法及びその装置、ビデオ符号化方法及びその装置に係り、量子化パラメータ(QP:quantization parameter)を効果的に遂行し、ビデオを符号化する方法及びその装置、ビデオを復号する方法及びその装置に関する。
【背景技術】
【0002】
従来の圧縮方式の場合、ピクチャに含まれる符号化単位の大きさを決定する過程において分割するか否かということを決定した後、画一的に4個の同一サイズの符号化単位に分割する再帰的分割過程を介し、正方形の符号化単位を決定した。しかしながら、最近、高解像度の映像につき、正方形という画一的な形態の符号化単位利用によって引き起こされる復元映像の画質劣化が問題になっている。従って、高解像度映像を多様な形態の符号化単位に分割する方法及びその装置が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明が解決しようとする課題は、ビデオ復号方法及びその装置、ビデオ符号化方法及びその装置に係り、ビデオ符号化装置において、量子化パラメータ(QP)差分値を効率的に伝送する方法、ビデオ復号装置において、QP差分値を効率的に獲得する方法を解決することである。
【課題を解決するための手段】
【0004】
本開示で提供する一実施形態によるビデオ復号方法は、ピクチャパラメータセットから、現在ピクチャに適用される量子化パラメータ(QP)初期値を獲得し、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報を、前記ピクチャパラメータセットから獲得する段階と、前記ピクチャヘッダQP差分値情報が、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在することを示す場合、前記ピクチャヘッダから、前記現在ピクチャのための第1 QP差分値を獲得する段階と、前記現在ピクチャに含まれた符号化単位のためのQPを、前記QP初期値と前記第1 QP差分値とを利用して決定する段階と、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階と、前記変換係数を利用し、前記符号化単位を復元する段階と、を含むものでもある。
【発明の効果】
【0005】
一実施形態によるビデオ符号化方法及びビデオ復号方法により、ピクチャの特性またはデータ伝送効率により、量子化パラメータ(QP)の差分値を伝送する方式を決定し、その方式により、QPの差分値をシグナリングすることができる。
【図面の簡単な説明】
【0006】
本明細書で引用される図面をさらに十分に理解するために、各図面の簡単な説明が提供される:
図1】一実施形態による映像復号装置の概略的なブロック図である。
図2】一実施形態による映像復号方法のフローチャートである。
図3】一実施形態による、映像復号装置が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図4】一実施形態による、映像復号装置が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図5】一実施形態による映像復号装置がブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する図である。
図6】一実施形態による映像復号装置が奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する図である。
図7】一実施形態による映像復号装置が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図である。
図8】一実施形態による映像復号装置が所定の順序で符号化単位が処理されえない場合、現在符号化単位が奇数個の符号化単位に分割されることを決定する過程を図示する図である。
図9】一実施形態による映像復号装置が第1符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する図である。
図10】一実施形態による映像復号装置が第1符号化単位が分割されて決定された非正方形状の第2符号化単位が所定の条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する図である。
図11】一実施形態による、分割形態モード情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置が正方形状の符号化単位を分割する過程を図示する図である。
図12】一実施形態による、複数個の符号化単位間の処理順序が符号化単位の分割過程によっても異なりうることを図示した図である。
図13】一実施形態による、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図である。
図14】一実施形態による、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス(pPID:part index)を図示する図である。
図15】一実施形態による、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたところを図示する図である。
図16】映像符号化及び復号システムのブロック図を示した図である。
図17】一実施形態によるビデオ復号装置のブロック図である。
図18】一実施形態によるビデオ復号方法のフローチャートである。
図19】一実施形態によるビデオ符号化装置のブロック図である。
図20】一実施形態によるビデオ符号化方法のフローチャートである。
図21】一実施形態による、ピクチャレベルまたはスライスレベルで量子化パラメータ(QP)を誘導するための概要図である。
図22】一実施形態による、ピクチャヘッダQP差分値情報が含まれたピクチャパラメータセットを図示する図である。
図23】一実施形態による、現在ピクチャのQP差分値が含まれたピクチャヘッダを図示する図である。
図24】一実施形態による、現在スライスのQP差分値が含まれたスライスヘッダを図示する図である。
図25】一実施形態による、ピクチャヘッダにデブロッキングフィルタ関連パラメータが含まれているか否かということを示す情報が含まれたピクチャパラメータセットを図示する図である。
図26】一実施形態による、現在ピクチャのデブロッキングフィルタ関連パラメータが含まれたピクチャヘッダを図示する図である。
図27】一実施形態による、現在スライスのデブロッキングフィルタ関連パラメータが含まれたスライスヘッダを図示する図である。
図28】一実施形態による、ピクチャヘッダに、各種ツール関連パラメータが含まれているか否かということを示す情報が含まれたピクチャパラメータセットを図示する図である。
図29】一実施形態による、現在ピクチャの加重値予測関連パラメータ、SAO(sample adaptive offset)関連パラメータ、及び参照ピクチャリスト関連パラメータが含まれたピクチャヘッダを図示する図である。
図30】一実施形態による、現在ピクチャのALF(adaptive loop filter)関連パラメータが含まれたピクチャヘッダを図示する図である。
図31】一実施形態による、現在スライスの参照ピクチャリスト関連パラメータ、加重値予測関連パラメータ及びSAO関連パラメータが含まれたスライスヘッダを図示する図である。
図32】一実施形態による、現在スライスのALF関連パラメータが含まれたスライスヘッダを図示する図である。
【発明を実施するための形態】
【0007】
本開示で提供する一実施形態によるビデオ復号方法は、ピクチャパラメータセットから、現在ピクチャに適用される量子化パラメータ(QP:quantization parameter)初期値を獲得し、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報を、前記ピクチャパラメータセットから獲得する段階と、前記ピクチャヘッダQP差分値情報が、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在することを示す場合、前記ピクチャヘッダから、前記現在ピクチャのための第1 QP差分値を獲得する段階と、前記現在ピクチャに含まれた符号化単位のためのQPを、前記QP初期値と前記第1 QP差分値とを利用して決定する段階と、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階と、前記変換係数を利用し、前記符号化単位を復元する段階と、を含むものでもある。
【0008】
一実施形態による前記ビデオ復号方法は、前記ピクチャヘッダQP差分値情報が、前記ピクチャヘッダに、前記QP差分値情報が存在しないことを示す場合、前記現在ピクチャに含まれた現在スライスのスライスヘッダから、前記現在スライスのための第2 QP差分値を獲得する段階と、前記現在スライスに含まれた符号化単位のためのQPを、前記QP初期値と前記第2 QP差分値とを利用して決定する段階と、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階と、前記変換係数を利用し、前記符号化単位を復元する段階と、をさらに含むものでもある。
【0009】
一実施形態により、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階は、前記ピクチャヘッダから、前記現在ピクチャのルマ成分のための前記QP差分値を獲得する段階と、前記QP初期値と、前記ルマ成分のための前記第1 QP差分値と、を加えることにより、前記現在ピクチャに含まれるスライスのルマ成分のためのQPを決定する段階と、前記スライスのルマ成分のためのQPを利用し、前記現在ピクチャに含まれ、前記スライスに含まれる前記符号化単位のQPを決定する段階と、を含むものでもある。
【0010】
一実施形態による、前記符号化単位のQPを決定する段階は、前記符号化単位のためのQP差分値をビットストリームから獲得する段階と、前記スライスのルマ成分のためのQPと、前記符号化単位のためのQP差分値と、を利用し、前記符号化単位のルマ成分のためのQPを決定する段階と、を含むものでもある。
【0011】
一実施形態による、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階は、前記スライスヘッダから、前記現在スライスのルマ成分のための前記第2 QP差分値を獲得する段階と、前記QP初期値と、前記ルマ成分のための前記第2 QP差分値と、を加えることにより、前記現在スライスのルマ成分のためのQPを決定する段階と、前記現在スライスのルマ成分のためのQPを利用し、前記現在スライスに含まれた前記符号化単位のQPを決定する段階と、を含むものでもある。
【0012】
一実施形態による、前記符号化単位のQPを決定する段階は、前記符号化単位のためのQP差分値をビットストリームから獲得する段階と、前記現在スライスのルマ成分のためのQPと、前記符号化単位のためのQP差分値と、を利用し、前記符号化単位のルマ成分のためのQPを決定する段階と、を含むものでもある。
【0013】
一実施形態による、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得する段階は、前記スライスヘッダから、前記現在スライスのCbクロマ成分のためのCb QP差分値と、前記現在スライスのCrクロマ成分のためのCr QP差分値と、を獲得する段階と、前記現在スライスに含まれた現在符号化単位のCbクロマ成分のためのQPを、前記現在スライスのCbクロマ成分のためのCb QP差分値を利用して更新することにより、前記現在符号化単位のCbクロマ成分のためのCb QPを決定する段階と、前記現在符号化単位のCrクロマ成分のためのQPを、前記現在スライスのCrクロマ成分のためのCr QP差分値を利用して更新することにより、前記現在符号化単位のCrクロマ成分のためのCr QPを決定する段階と、を含むものでもある。
【0014】
本開示で提供する一実施形態によるビデオ復号装置は、ピクチャパラメータセットから、現在ピクチャに適用されるQP初期値を獲得し、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報を、前記ピクチャパラメータセットから獲得し、前記ピクチャヘッダQP差分値情報が、前記ピクチャヘッダに、前記QP差分値情報が存在することを示せば、前記ピクチャヘッダから、現在ピクチャのための第1 QP差分値を獲得する獲得部と、前記ピクチャヘッダQP差分値情報が、前記ピクチャヘッダに、前記QP差分値情報が存在することを示せば、前記現在ピクチャに含まれた符号化単位のためのQPを、前記QP初期値と前記第1 QP差分値とを利用して決定し、前記QPを利用し、前記符号化単位について逆量子化を行い、前記符号化単位の変換係数を獲得し、前記符号化単位の変換係数を利用し、前記符号化単位を復元する復号部と、を含むものでもある。
【0015】
本開示で提供する一実施形態によるビデオ符号化方法は、現在ピクチャに適用されるQP初期値を決定する段階と、ピクチャ別に、前記QP差分値を決定する場合、現在ピクチャで使用されたQPと、前記QP初期値との第1 QP差分値を決定し、前記第1 QP差分値を含む、前記現在ピクチャに係わるピクチャヘッダを生成する段階と、前記現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報と、前記QP初期値とを含む前記ピクチャパラメータセットを生成する段階と、を含むものでもある。
【0016】
一実施形態による前記ビデオ符号化方法は、スライス別に、前記QP差分値を決定する場合、前記現在ピクチャに含まれた現在スライスで使用されたQPと、前記QP初期値との第2 QP差分値を決定し、前記第2 QP差分値を含む、前記現在スライスに係わるスライスヘッダを生成する段階をさらに含むものでもある。
【0017】
一実施形態による、前記第1 QP差分値を含む、前記現在ピクチャに係わるピクチャヘッダを生成する段階は、前記現在ピクチャに含まれるスライスのルマ成分のためのQPを決定する段階と、前記現在ピクチャに含まれるスライスのルマ成分のためのQPと、前記QP初期値との差値を利用し、前記現在ピクチャのルマ成分のための前記第1 QP差分値を決定する段階と、を含むものでもある。
【0018】
一実施形態による、前記第1 QP差分値を決定する段階は、前記符号化単位のルマ成分のためのQPと、前記スライスのルマ成分のためのQPとの差値を利用し、前記符号化単位のためのQP差分値を決定する段階と、前記符号化単位のためのQP差分値を符号化する段階と、を含むものでもある。
【0019】
一実施形態による、前記第2 QP差分値を含む、前記現在スライスに係わるスライスヘッダを生成する段階は、前記現在スライスのルマ成分のためのQPを決定する段階と、前記現在スライスのルマ成分のためのQPと、前記QP初期値との差値を利用し、前記現在スライスのルマ成分のための前記第2 QP差分値を決定する段階と、を含むものでもある。
【0020】
一実施形態による、前記第2 QP差分値を決定する段階は、前記符号化単位のルマ成分のためのQPから、前記現在スライスのルマ成分のためのQPを差し引くことにより、前記符号化単位のためのQP差分値を決定する段階と、前記符号化単位のためのQP差分値を符号化する段階と、を含むものでもある。
【0021】
一実施形態による、前記第2 QP差分値を決定する段階は、前記現在スライスに含まれた現在符号化単位のCbクロマ成分のQPを決定するための、前記現在符号化単位のCbクロマ成分のためのCb QP差分値を決定する段階と、前記現在スライスに含まれた現在符号化単位のCrクロマ成分のQPを決定するための、前記現在符号化単位のCrクロマ成分のためのCr QP差分値を決定する段階と、前記現在スライスのCbクロマ成分のためのCb QP差分値と、前記現在スライスのCrクロマ成分のためのCr QP差分値と、を符号化し、前記Cb QP差分値と前記Cr QP差分値とを含む前記現在スライスのためのスライスヘッダを生成する段階と、を含むものでもある。
【0022】
本開示で提供する一実施形態によるビデオ復号方法をコンピュータで遂行するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体が提供される。
【0023】
本開示で提供する一実施形態によるビデオ符号化方法をコンピュータで遂行するためのプログラムが記録された、コンピュータで読み取り可能な記録媒体が提供される。
【0024】
本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それらについて、詳細な説明を介して詳細に説明する。しかしながら、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。
【0025】
本実施形態の説明において、関連公知技術に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしてしまうと判断される場合、その詳細な説明を省略する。また、明細書の説明過程で利用される数(例:第1、第2など)は、1つの構成要素を他の構成要素と区分するための識別記号に過ぎない。
【0026】
また、本明細書において、一構成要素が他の構成要素と「連結される」とか「接続される」というように言及されたときには、前記一構成要素が前記他の構成要素と直接連結されるか、あるいは直接接続されもし、特別に反対となる記載が存在しない以上、中間に、さらに他の構成要素を媒介させて連結されるか、あるいは接続されもすると理解されなければならないのである。
【0027】
また、本明細書において、「~部(ユニット)」、「モジュール」などと表現される構成要素は、2個以上の構成要素が1つの構成要素に合わされるか、あるいは1つの構成要素がさらに細分化された機能別に2個以上に分化されもする。また、以下で説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち一部または全部の機能を追加して遂行することもでき、構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素によって専担されて遂行されるということは、言うまでもない。
【0028】
また、本明細書において、「映像(image)」または「ピクチャ」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示しうる。
【0029】
また、本明細書において「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも1つのサンプルを含む単位をブロックと定義することができる。
【0030】
また、本明細書において、「現在ブロック(current block)」は、符号化または復号する現在映像の最大符号化単位、符号化単位、予測単位または変換単位のブロックを意味しうる。
【0031】
また、本明細書において、ある動きベクトルがリスト0方向であるというのは、リスト0に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルであるということを意味し、アル動きベクトルがリスト1方向であるというのは、リスト1に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルであるということを意味しうる。また、ある動きベクトルが単方向であるというのは、リスト0またはリスト1に含まれた参照ピクチャ内ブロックを示すために利用される動きベクトルであるということを意味し、ある動きベクトルが双方向であるというのは、動きベクトルが、リスト0方向の動きベクトルと、リスト1方向の動きベクトルとを含むということを意味しうる。
【0032】
また、本明細書において、ブロックの「バイナリ分割(binary split)」とは、ブロックの幅または高さが半分である2個の下位ブロックを生成せしめる分割を意味する。具体的には、現在ブロックに「バイナリ垂直分割」が行われれ、現在ブロック幅の半分地点において、垂直方向(縦長方向)に分割が行われるので、現在ブロック幅の半分である幅を有し、現在ブロック高と同一高さを有する2個の下位ブロックが生成されうる。現在ブロックに「バイナリ水平分割」が行われれ、現在ブロック高の半分地点において、水平方向(横長方向)に分割が行われるので、現在ブロック高の半分である高さを有し、現在ブロックの幅は、同一幅を有する2個の下位ブロックが生成されうる。
【0033】
また、本明細書において、ブロックの「ターナリ分割(ternary split)」とは、ブロックの幅または高さが1:2:1比率に分割され、3個の下位ブロックを生成せしめる分割を意味する。具体的には、現在ブロックに「ターナリ垂直分割」が行われれ、現在ブロック幅の1:2:1比率地点において、垂直方向(縦長方向)に分割が行われるので、現在ブロック幅の1/4である幅を有し、現在ブロックと高さが同一である2個の下位ブロックと、現在ブロック幅の2/4である幅を有し、現在ブロック高と同一高さを有する1個の下位ブロックと、が生成されうる。現在ブロックに「ターナリ水平分割」が行われれ、現在ブロック高の1:2:1比率地点において、水平方向(横長方向)に分割が行われるので、現在ブロック高の1/4である高さを有し、現在ブロックの幅と同一幅を有する2個の下位ブロックと、現在ブロック高の2/4である高さを有し、現在ブロックの幅と同一幅を有する1個の下位ブロックと、が生成されうる。
【0034】
また、本明細書において、ブロックの「クアッド分割(quad split)」とは、ブロックの幅及び高さが1:1比率に分割され、4個の下位ブロックを生成せしめる分割を意味する。具体的には、現在ブロックに「クアッド分割」が行われれ、現在ブロック幅の半分地点において、垂直方向(縦長方向)に分割が行われ、現在ブロック高の半分地点において、水平方向(横長方向)に分割が行われるので、現在ブロック幅の1/2である幅を有し、現在ブロック高の1/2である高さを有する4個の下位ブロックが生成されうる。
【0035】
以下、図1ないし図16を参照し、一実施形態による、映像符号化装置及び映像復号装置、映像符号化方法及び映像復号方法について説明される。図3ないし図16を参照し、一実施形態による、映像のデータ単位を決定する方法について説明され、図17ないし図40を参照し、前記決定されたデータ単位を利用する一実施形態によるビデオ符号化/復号方法が後述される。
【0036】
以下、図1及び図2を参照し、本開示の一実施形態による、多様な形態の符号化単位に基づき、適応的に選択するための方法及び装置について説明される。
【0037】
図1は、一実施形態による映像復号装置の概略的なブロック図を図示する。
【0038】
映像復号装置100は、受信部110及び復号部120を含むものでもある。受信部110及び復号部120は、少なくとも1つのプロセッサを含むものでもある。また、受信部110及び復号部120は、少なくとも1つのプロセッサが遂行する命令語を保存するメモリを含むものでもある。
【0039】
受信部110は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置2200が映像を符号化した情報を含む。また、ビットストリームは、映像符号化装置2200から送信されうる。映像符号化装置2200及び映像復号装置100は、有線または無線によっても連結され、受信部110は、有線または無線を介し、ビットストリームを受信することができる。受信部110は、光学メディア、ハードディスクのような記録媒体から、ビットストリームを受信することができる。復号部120は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部120は、映像を復元するためのシンタックスエレメントを、ビットストリームから獲得することができる。復号部120は、シンタックスエレメントに基づき、映像を復元することができる。
【0040】
映像復号装置100の動作については、図2と共に、さらに詳細に説明する。
【0041】
図2は、一実施形態による映像復号方法のフローチャートを図示する。
【0042】
本開示の一実施形態によれば、受信部110は、ビットストリームを受信する。
【0043】
映像復号装置100は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する段階(210)を遂行する。映像復号装置100は、符号化単位の分割規則を決定する段階(220)を遂行する。また、映像復号装置100は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を複数の符号化単位に分割する段階(230)を遂行する。映像復号装置100は、分割規則を決定するために、符号化単位の幅及び高さの比率による、前記符号化単位の大きさの許容可能な第1範囲を決定することができる。映像復号装置100は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第2範囲を決定することができる。
【0044】
以下においては、本開示の一実施形態による、符号化単位の分割について詳細に説明する。
【0045】
まず、1つのピクチャ(picture)は、1以上のスライス、あるいは1以上のタイルにも分割される。1つのスライス、あるいは1つのタイルは、1以上の最大符号化単位(CTU:coding tree unit)のシーケンスでもある。最大符号化単位(CTU)と対比される概念として、l最大符号化ブロック(CTB:coding tree block)がある。
【0046】
最大符号化ブロック(CTB)は、NxN個のサンプルを含むNxNブロックを意味する(Nは、整数である)。各カラー成分は、1以上の最大符号化ブロックにも分割される。
【0047】
ピクチャが3個のサンプルアレイ(Y,Cr,Cb成分別サンプルアレイ)を有する場合、最大符号化単位(CTU)とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの2個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがモノクロムピクチャである場合、最大符号化単位とは、モノクロムサンプルの最大符号化ブロックと、モノクロムサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該ピクチャと、ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
【0048】
1つの最大符号化ブロック(CTB)は、MxN個のサンプルを含むMxN符号化ブロックにも分割される(M、Nは、整数である)。
【0049】
ピクチャがY,Cr,Cb成分別サンプルアレイを有する場合、符号化単位(CU:coding unit)とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの2個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがモノクロムピクチャである場合、符号化単位とは、モノクロムサンプルの符号化ブロックと、モノクロムサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。該ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、ピクチャのサンプルを符号化するのに利用されるシンタックス構造と、を含む単位である。
【0050】
前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、(最大)符号化単位は、当該サンプルを含む(最大)符号化ブロックと、それに対応するシンタックス構造と、を含むデータ構造を意味する。しかしながら、当業者が、(最大)符号化単位または(最大)符号化ブロックが、所定個数のサンプルを含む所定サイズのブロックを称するということを理解することができるので、以下、本明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を特別な事情がない限り、区別せずに言及する。
【0051】
映像は、最大符号化単位(CTU)にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。該最大符号化単位の形態は、同一サイズの正方形を有することができる。しかしながら、それに限定されるものではない。
【0052】
例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、4x4、8x8、16x16、32x32、64x64、128x128、256x256のうち一つでもある。
【0053】
例えば、ビットストリームから、2分割が可能なルマ符号化ブロックの最大サイズと、ルマブロックサイズ差とに係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、2分割が可能な最大ルマ符号化ブロックとの大きさ差を示しうる。従って、ビットストリームから獲得された2分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報と、を結合すれば、ルマ最大符号化単位の大きさが決定されうる。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも、決定されうる。例えば、カラーフォーマットにより、Y:Cb:Cr比率が4:2:0であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。
【0054】
一実施形態によれば、バイナリ分割が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリ分割が可能なルマ符号化ブロックの最大サイズは、可変的に決定されうる。それと異なり、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Iピクチャにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、32x32であり、PピクチャまたはBピクチャにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、64x64でもある、。
【0055】
また、最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位にも階層的に分割される。分割形態モード情報として、クアッド分割いかんを示す情報、多分割いかんを示す情報、分割方向情報及び分割タイプ情報のうち少なくとも一つが、ビットストリームからも獲得される。
【0056】
例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割(QUAD_SPLIT)されるか否かということ、またはクアッド分割されないか否かということを示しうる。
【0057】
現在符号化単位がクアッド分割されなければ、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか(NO_SPLIT)、あるいはバイナリ/ターナリ分割されるか否かということを示しうる。
【0058】
現在符号化単位がバイナリ分割されるか、あるいはターナリ分割されれば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち一つに分割されることを示す。
【0059】
現在符号化単位が、水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位を、バイナリ分割またはターナリ分割によって分割することを示す。
【0060】
分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が、水平方向にバイナリ分割される場合の分割モードは、バイナリ水平分割(SPLIT_BT_HOR)、水平方向にターナリ分割される場合の分割モードは、ターナリ水平分割(SPLIT_TT_HOR)、垂直方向にバイナリ分割される場合の分割モードは、バイナリ垂直分割(SPLIT_BT_VER)、及び垂直方向にターナリ分割される場合の分割モードは、ターナリ垂直分割(SPLIT_BT_VER)と決定されうる。
【0061】
映像復号装置100は、ビットストリームから、分割形態モード情報を1つのビンストリングから獲得することができる。映像復号装置100が受信したビットストリームの形態は、fixed length binary code、unary code、truncated unary code、既決定バイナリコードなどを含むものでもある。該ビンストリングは、情報を二進数の羅列で示したものである。該ビンストリングは、少なくとも1ビットによっても構成される。映像復号装置100は、分割規則に基づき、ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置100は、1つのビンストリングに基づき、符号化単位をクアッド分割するか否かということ、分割しないか否かということ、または分割方向及び分割タイプを決定することができる。
【0062】
符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば、最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。該最大符号化単位に係わる分割形態モード情報が分割されないことを示す場合、該最大符号化単位で決定される符号化単位は、該最大符号化単位と同じ大きさを有する。該最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、該最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、該符号化単位は、さらに小さなサイズの符号化単位にも分割される。ただし、映像の分割は、それに限定されるものではなく、最大符号化単位及び符号化単位は、区別されないものでもある。符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。
【0063】
また、符号化単位から予測のための1以上の予測ブロックが決定されうる。該予測ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。また、該符号化単位から変換のための1以上の変換ブロックが決定されうる。該変換ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。
【0064】
変換ブロックと予測ブロックとの形態及び大きさは、互いに関係もない。
【0065】
他の実施形態として、符号化単位が予測ブロックとして、符号化単位を利用して予測が行われうる。また、該符号化単位が変換ブロックとして、該符号化単位を利用し、変換が行われうる。
【0066】
符号化単位の分割については、図3ないし図16において、さらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示しうる。また、現在ブロックまたは現在符号化単位は、現在、復号または符号化が進められるブロック、または現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから、空間的または時間的に隣接しうる。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置しうる。
【0067】
図3は、一実施形態による映像復号装置が現在符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0068】
ブロック形態は、4Nx4N、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nを含むものでもある。ここで、Nは、正の整数でもある。ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率または大きさのうち少なくとも一つを示す情報である。
【0069】
符号化単位の形態は、正方形(square)及び非正方形(non-square)を含むものでもある。符号化単位の幅及び高さの大きさが同じである場合(すなわち、符号化単位のブロック形態が4Nx4Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置100は、符号化単位の形態を非正方形とも決定することができる。
【0070】
符号化単位の幅及び高さの大きさが異なる場合(すなわち、符号化単位のブロック形態が、4Nx2N、2Nx4N、4NxN、Nx4N、32NxN、Nx32N、16NxN、Nx16N、8NxNまたはNx8Nである場合)、映像復号装置100は、符号化単位のブロック形態情報を非正方形と決定することができる。符号化単位の形態が非正方形である場合、映像復号装置100は、符号化単位のブロック形態情報において、幅及び高さの比率を1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32、32:1のうち少なくとも一つに決定することができる。また、符号化単位の幅の大きさ及び高さの大きさに基づき、映像復号装置100は、符号化単位が水平方向であるか、または垂直方向であるかということを決定することができる。また、符号化単位の幅の大きさ、高さの大きさ、または広さのうち少なくとも一つに基づき、映像復号装置100は、符号化単位の大きさを決定することができる。
【0071】
一実施形態による映像復号装置100は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置100が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。
【0072】
映像復号装置100は、ビットストリームから、分割形態モード情報を獲得することができる。しかしながら、それに限定されるものではなく、映像復号装置100及び映像符号化装置2200は、ブロック形態情報に基づき、事前に約束された分割形態モード情報を決定することができる。映像復号装置100は、最大符号化単位または最小符号化単位につき、事前に約束された分割形態モード情報を決定することができる。例えば、映像復号装置100は、最大符号化単位につき、分割形態モード情報を、クアッド分割と決定することができる。また、映像復号装置100は、最小符号化単位につき、分割形態モード情報を、「分割せず」と決定することができる。具体的には、映像復号装置100は、最大符号化単位の大きさを256x256と決定することができる。映像復号装置100は、事前に約束された分割形態モード情報を、クアッド分割と決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置100は、分割形態モード情報に基づき、256x256サイズの最大符号化単位から、128x128サイズの符号化単位を獲得することができる。また、映像復号装置100は、最小符号化単位の大きさを4x4と決定することができる。映像復号装置100は、最小符号化単位につき、「分割せず」を示す分割形態モード情報を獲得することができる。
【0073】
一実施形態により、映像復号装置100は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置100は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、4個の符号化単位に分割するということを決定することができる。図3を参照すれば、現在符号化単位300のブロック形態情報が正方形の形態を示す場合、復号部120は、分割されないことを示す分割形態モード情報により、現在符号化単位300と同一サイズを有する符号化単位310aを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位310b,310c,310d,310e,310fを決定することができる。
【0074】
図3を参照すれば、映像復号装置100は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した2つの符号化単位310bを決定することができる。映像復号装置100は、水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した2つの符号化単位310cを決定することができる。映像復号装置100は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向及び水平方向に分割した4つの符号化単位310dを決定することができる。映像復号装置100は、一実施形態により、垂直方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を垂直方向に分割した3つの符号化単位310eを決定することができる。映像復号装置100は、水平方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位300を水平方向に分割した3つの符号化単位310fを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、該分割形態モード情報が示しうる多様な形態が含まれうる。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して具体的に説明する。
【0075】
図4は、一実施形態による映像復号装置が非正方形の形態である符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0076】
一実施形態による映像復号装置100は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置100は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかいうことを決定することができる。図4を参照すれば、現在符号化単位400または450のブロック形態情報が非正方形の形態を示す場合、映像復号装置100は、分割されないことを示す分割形態モード情報により、現在符号化単位400または450と同一サイズを有する符号化単位410または460を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位420a,420b,430a,430b,430c,470a,470b,480a,480b,480cを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明する。
【0077】
一実施形態による映像復号装置100は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態モード情報は、符号化単位が分割されて生成される少なくとも1つの符号化単位の個数を示しうる。図4を参照すれば、分割形態モード情報が2つの符号化単位に、現在符号化単位400または450が分割されることを示す場合、映像復号装置100は、分割形態モード情報に基づき、現在符号化単位400または450を分割し、現在符号化単位に含まれる2つの符号化単位420a,420bまたは470a,470bを決定することができる。
【0078】
一実施形態による映像復号装置100が分割形態モード情報に基づき、非正方形状の現在符号化単位400または450を分割する場合、映像復号装置100は、非正方形の現在符号化単位400または450の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置100は、現在符号化単位400または450の形態を考慮し、現在符号化単位400または450の長辺を分割する方向に、現在符号化単位400または450を分割し、複数個の符号化単位を決定することができる。
【0079】
一実施形態により、分割形態モード情報が奇数個のブロックに、符号化単位を分割(ターナリ分割)することを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態モード情報が3個の符号化単位に、現在符号化単位400または450を分割することを示す場合、映像復号装置100は、現在符号化単位400または450を、3個の符号化単位430a,430b,430c,480a,480b,480cに分割することができる。
【0080】
一実施形態により、現在符号化単位400または450の幅及び高さの比率が、4:1または1:4でもある、。幅及び高さの比率が4:1である場合、幅の大きさが高さの大きさより大きいので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が、1:4である場合、幅の大きさが高さの大きさより小さいので、ブロック形態情報は、垂直方向でもある。映像復号装置100は、分割形態モード情報に基づき、現在符号化単位を、奇数個のブロックに分割することを決定することができる。また、映像復号装置100は、現在符号化単位400または450のブロック形態情報に基づき、現在符号化単位400または450の分割方向を決定することができる。例えば、現在符号化単位400が垂直方向である場合、映像復号装置100は、現在符号化単位400を水平方向に分割し、符号化単位430a,430b,430cを決定することができる。また、現在符号化単位450が水平方向である場合、映像復号装置100は、現在符号化単位450を垂直方向に分割し、符号化単位480a,480b,480cを決定することができる。
【0081】
一実施形態による映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位430a,430b,430c,480a,480b,480cのうち、所定の符号化単位430bまたは480bの大きさは、他の符号化単位430a,430c,480a,480cとは異なる大きさを有しうる。すなわち、現在符号化単位400または450が分割されて決定されうる符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位430a,430b,430c,480a,480b,480cがそれぞれ互いに異なる大きさを有しうる。
【0082】
一実施形態により、分割形態モード情報が、奇数個のブロックに、符号化単位が分割されることを示す場合、映像復号装置100は、現在符号化単位400または450に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置100は、分割されて生成される奇数個の符号化単位のうち、少なくとも1つの符号化単位につき、所定の制限を置くことができる。図4を参照すれば、映像復号装置100は、現在符号化単位400または450が分割されて生成された3個の符号化単位430a,430b,430c,480a,480b,480cのうち、中央に位置する符号化単位430b,480bに対する復号過程を、他の符号化単位430a,430c,480a,480cと異ならせることができる。例えば、映像復号装置100は、中央に位置する符号化単位430b,480bについては、他の符号化単位430a,430c,480a,480cと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほど分割されるように制限することができる。
【0083】
図5は、一実施形態により、映像復号装置が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。
【0084】
一実施形態による映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第1符号化単位500を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に第1符号化単位500を分割することを示す場合、映像復号装置100は、第1符号化単位500を水平方向に分割し、第2符号化単位510を決定することができる。一実施形態によって利用される第1符号化単位、第2符号化単位、第3符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第1符号化単位を分割すれば、第2符号化単位が決定され、第2符号化単位が分割されれば、第3符号化単位が決定されうる。以下においては、利用される第1符号化単位、第2符号化単位及び第3符号化単位の関係は、前述の特徴によるとも理解される。
【0085】
一実施形態による映像復号装置100は、決定された第2符号化単位510を分割形態モード情報に基づき、符号化単位に分割するか、あるいは分割しないと決定することができる。図5を参照すれば、映像復号装置100は、分割形態モード情報に基づき、第1符号化単位500を分割して決定された非正方形状の第2符号化単位510を、少なくとも1つの第3符号化単位520a,520b,520c,520dに分割するか、あるいは第2符号化単位510を分割しないのである。映像復号装置100は、分割形態モード情報を獲得することができ、映像復号装置100は、獲得した分割形態モード情報に基づき、第1符号化単位500を分割し、多様な形態の複数個の第2符号化単位(例:510)を分割することができ、第2符号化単位510は、分割形態モード情報に基づき、第1符号化単位500が分割された方式により、分割されることができる。一実施形態により、第1符号化単位500が第1符号化単位500に対する分割形態モード情報に基づき、第2符号化単位510に分割された場合、第2符号化単位510も第2符号化単位510に対する分割形態モード情報に基づき、第3符号化単位(例:520a,520b,520c,520d)にも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的にも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。
【0086】
図5を参照すれば、非正方形状の第2符号化単位510が分割されて決定される奇数個の第3符号化単位520b,520c,520dのうち、所定の符号化単位(例:真ん中に位置する符号化単位、または正方形状の符号化単位)は、再帰的にも分割される。一実施形態により、奇数個の第3符号化単位520b,520c,520dのうち1つの正方形状の第3符号化単位520bは、水平方向に分割され、複数個の第4符号化単位にも分割される。複数個の第4符号化単位530a,530b,530c,530dのうち1つの非正方形状の第4符号化単位530bまたは530dは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第4符号化単位530bまたは530dは、奇数個の符号化単位にさらに分割されうる。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述する。
【0087】
一実施形態による映像復号装置100は、分割形態モード情報に基づき、第3符号化単位520a,520b,520c,520dそれぞれを、符号化単位に分割することができる。また、映像復号装置100は、分割形態モード情報に基づき、第2符号化単位510を分割しないと決定することができる。映像復号装置100は、一実施形態により、非正方形状の第2符号化単位510を、奇数個の第3符号化単位520b,520c,520dに分割することができる。映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、所定の第3符号化単位につき、所定の制限を置くことができる。例えば、映像復号装置100は、奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。
【0088】
図5を参照すれば、映像復号装置100は、非正方形状の第2符号化単位510に含まれる奇数個の第3符号化単位520b,520c,520dのうち、真ん中に位置する符号化単位520cは、それ以上分割されないか、あるいは所定の分割形態に分割(例えば、4個の符号化単位にだけ分割するか、あるいは第2符号化単位510が分割された形態に対応する形態に分割する)されるように制限するか、あるいは所定の回数にだけ分割(例えば、n回ほど分割する(n>0))するように制限することができる。ただし、真ん中に位置した符号化単位520cに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位520cが、他の符号化単位520b,520dと異なるように復号されうる多様な制限を含むと解釈されなければならない。
【0089】
一実施形態による映像復号装置100は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定の位置で獲得することができる。
【0090】
図6は、一実施形態による映像復号装置100が、奇数個の符号化単位のうち、所定の符号化単位を決定するための方法を図示する。
【0091】
図6を参照すれば、現在符号化単位600,650の分割形態モード情報は、現在符号化単位600,650に含まれる複数個のサンプルのうち、所定位置のサンプル(例えば、真ん中に位置するサンプル640,690)からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位600内の所定位置は、図6で図示する真ん中の位置に限定して解釈されるものではなく、該所定位置には、現在符号化単位600内に含まれうる多様な位置(例えば、最上端、最下端、左側、右側、左側上端、左側下側、右側上端または右側下側など)が含まれうると解釈されなければならない。映像復号装置100は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
【0092】
一実施形態による映像復号装置100は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち1つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述する。
【0093】
一実施形態による映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【0094】
一実施形態による映像復号装置100は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図6を参照すれば、映像復号装置100は、現在符号化単位600または現在符号化単位650を分割し、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cを決定することができる。映像復号装置100は、奇数個の符号化単位620a,620b,620c、または奇数個の符号化単位660a,660b,660cの位置に係わる情報を利用し、真ん中符号化単位620bまたは真ん中符号化単位660bを決定することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cに含まれる所定のサンプルの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定することができる。具体的には、映像復号装置100は、符号化単位620a,620b,620cの左側上端のサンプル630a,630b,630cの位置を示す情報に基づき、符号化単位620a,620b,620cの位置を決定することにより、真ん中に位置する符号化単位620bを決定しうる。
【0095】
一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を含むものでもある。一実施形態により、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの位置を示す情報は、現在符号化単位600に含まれる符号化単位620a,620b,620cの幅または高さを示す情報を含むものでもあり、そのような幅または高さは、符号化単位620a,620b,620cのピクチャ内における座標間の差を示す情報にも該当する。すなわち、映像復号装置100は、符号化単位620a,620b,620cのピクチャ内における位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位620bを決定することができる。
【0096】
一実施形態により、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報は、(xa,ya)座標を示し、真ん中符号化単位620bの左側上端のサンプル530bの位置を示す情報は、(xb,yb)座標を示し、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報は、(xc,yc)座標を示しうる。映像復号装置100は、符号化単位620a,620b,620cにそれぞれ含まれる左側上端のサンプル630a,630b,630cの座標を利用し、真ん中符号化単位620bを決定することができる。例えば、左側上端のサンプル630a,630b,630cの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル630bの座標である(xb,yb)を含む符号化単位620bを、現在符号化単位600が分割されて決定された符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル630a,630b,630cの位置を示す座標は、ピクチャ内における絶対的な位置を示す座標を示し、さらには、上端符号化単位620aの左側上端のサンプル630aの位置を基準に、真ん中符号化単位620bの左側上端のサンプル630bの相対的位置を示す情報である(dxb,dyb)座標、下端符号化単位620cの左側上端のサンプル630cの相対的位置を示す情報である(dxc,dyc)座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法によって解釈されなければならない。
【0097】
一実施形態による映像復号装置100は、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、符号化単位620a,620b,620cのうち、所定の基準により、符号化単位を選択することができる。例えば、映像復号装置100は、符号化単位620a,620b,620cのうち、大きさが異なる符号化単位620bを選択することができる。
【0098】
一実施形態による映像復号装置100は、上端符号化単位620aの左側上端のサンプル630aの位置を示す情報である(xa,ya)座標、真ん中符号化単位620bの左側上端のサンプル630bの位置を示す情報である(xb,yb)座標、下端符号化単位620cの左側上端のサンプル630cの位置を示す情報である(xc,yc)座標を利用し、符号化単位620a,620b,620cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位620a,620b,620cの位置を示す座標である(xa,ya)、(xb,yb)、(xc,yc)を利用し、符号化単位620a,620b,620cそれぞれの大きさを決定することができる。一実施形態により、映像復号装置100は、上端符号化単位620aの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、上端符号化単位620aの高さを、yb-yaと決定することができる。一実施形態による映像復号装置100は、真ん中符号化単位620bの幅を、現在符号化単位600の幅と決定することができる。映像復号装置100は、真ん中符号化単位620bの高さを、yc-ybと決定することができる。一実施形態による映像復号装置100は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位620a及び真ん中符号化単位620bの幅及び高さとを利用して決定することができる。映像復号装置100は、決定された符号化単位620a,620b,620cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、上端符号化単位620a及び下端符号化単位620cの大きさと異なる大きさを有する真ん中符号化単位620bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
【0099】
映像復号装置100は、左側符号化単位660aの左側上端のサンプル670aの位置を示す情報である(xd,yd)座標、真ん中符号化単位660bの左側上端のサンプル670bの位置を示す情報である(xe,ye)座標、右側符号化単位660cの左側上端のサンプル670cの位置を示す情報である(xf,yf)座標を利用し、符号化単位660a,660b,660cそれぞれの幅または高さを決定することができる。映像復号装置100は、符号化単位660a,660b,660cの位置を示す座標である(xd,yd)、(xe,ye)、(xf,yf)を利用し、符号化単位660a,660b,660cそれぞれの大きさを決定することができる。
【0100】
一実施形態により、映像復号装置100は、左側符号化単位660aの幅を、xe-xdと決定することができる。映像復号装置100は、左側符号化単位660aの高さを、現在符号化単位650の高さと決定することができる。一実施形態による映像復号装置100は、真ん中符号化単位660bの幅を、xf-xeと決定することができる。映像復号装置100は、真ん中符号化単位660bの高さを、現在符号化単位600の高さと決定することができる。一実施形態による映像復号装置100は、右側符号化単位660cの幅または高さは、現在符号化単位650の幅または高さと、左側符号化単位660a及び真ん中符号化単位660bの幅及び高さとを利用して決定することができる。映像復号装置100は、決定された符号化単位660a,660b,660cの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図6を参照すれば、映像復号装置100は、左側符号化単位660a及び右側符号化単位660cの大きさと異なる大きさを有する真ん中符号化単位660bを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置100が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。
【0101】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されうるとも解釈される。
【0102】
一実施形態による映像復号装置100は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置100は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、水平方向に位置を異ならせて設定する符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置100は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置100は、垂直方向に位置を異ならせて設定する符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
【0103】
一実施形態による映像復号装置100は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置100は、現在符号化単位を分割(バイナリ分割)し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図6で説明した奇数個の符号化単位のうち、所定位置(例:真ん中位置)の符号化単位を決定する過程に対応する過程でもあるので、省略する。
【0104】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定の情報を利用することができる。例えば、映像復号装置100は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。
【0105】
図6を参照すれば、映像復号装置100は、分割形態モード情報に基づき、現在符号化単位600を、複数個の符号化単位620a,620b,620cに分割することができ、複数個の符号化単位620a,620b,620cのうち、真ん中に位置する符号化単位620bを決定することができる。さらには、映像復号装置100は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位620bを決定することができる。すなわち、現在符号化単位600の分割形態モード情報は、現在符号化単位600の真ん中に位置するサンプル640から獲得され、前記分割形態モード情報に基づき、現在符号化単位600が、複数個の符号化単位620a,620b,620cに分割された場合、前記サンプル640を含む符号化単位620bを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程においても利用される。
【0106】
一実施形態により、所定位置の符号化単位を識別するための所定の情報は、決定すべき符号化単位に含まれる所定のサンプルからも獲得される。図6を参照すれば、映像復号装置100は、現在符号化単位600が分割されて決定された複数個の符号化単位620a,620b,620cのうち、所定位置の符号化単位(例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位)を決定するために、現在符号化単位600内の所定位置のサンプル(例えば、現在符号化単位600の真ん中に位置するサンプル)から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置100は、現在符号化単位600のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置100は、現在符号化単位600が分割されて決定される複数個の符号化単位620a,620b,620cにおいて、所定の情報(例:分割形態モード情報)が獲得されうるサンプルが含まれた符号化単位620bを決定し、所定の制限を置くことができる。図6を参照すれば、一実施形態による映像復号装置100は、所定の情報が獲得されうるサンプルとして、現在符号化単位600の真ん中に位置するサンプル640を決定することができ、映像復号装置100は、そのようなサンプル640が含まれる符号化単位620bに対し、復号過程における所定の制限を置くことができる。ただし、所定の情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定すべき符号化単位620bに含まれる任意の位置のサンプルとも解釈される。
【0107】
一実施形態により、所定の情報が獲得されうるサンプルの位置は、現在符号化単位600の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が、正方形であるかまたは非正方形であるかということを決定することができ、形態により、所定の情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置100は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定の情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置100は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界を含むサンプルのうち一つを、所定の情報が獲得されうるサンプルと決定することができる。
【0108】
一実施形態による映像復号装置100は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態による映像復号装置100は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置100は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的にも分割される。符号化単位の再帰的分割過程については、図5を介して説明したので、詳細な説明は、省略する。
【0109】
一実施形態による映像復号装置100は、現在符号化単位を分割し、少なくとも1つの符号化単位を決定することができ、そのような少なくとも1つの符号化単位が復号される順序を、所定のブロック(例:現在符号化単位)によって決定することができる。
【0110】
図7は、一実施形態による映像復号装置が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【0111】
一実施形態による映像復号装置100は、分割形態モード情報により、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定するか、第1符号化単位700を水平方向に分割し、第2符号化単位730a,730bを決定するか、あるいは第1符号化単位700を垂直方向及び水平方向に分割し、第2符号化単位750a,750b,750c,750dを決定することができる。
【0112】
図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割して決定された第2符号化単位710a,710bを、水平方向(710c)に処理されるように順序を決定することができる。映像復号装置100は、第1符号化単位700を、水平方向に分割して決定された第2符号化単位730a,730bの処理順序を、垂直方向(730c)と決定することができる。映像復号装置100は、第1符号化単位700を、垂直方向及び水平方向に分割して決定された第2符号化単位750a,750b,750c,750dを、1行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定の順序(例えば、ラスタースキャン順序(raster scan order)またはzスキャン順序(z scan order)750e)によって決定することができる。
【0113】
一実施形態による映像復号装置100は、符号化単位を再帰的に分割することができる。図7を参照すれば、映像復号装置100は、第1符号化単位700を分割し、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを決定することができ、決定された複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dそれぞれを再帰的に分割することができる。複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dを分割する方法は、第1符号化単位700を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位710a,710b,730a,730b,750a,750b,750c,750dは、それぞれ独立して、複数個の符号化単位にも分割される。図7を参照すれば、映像復号装置100は、第1符号化単位700を垂直方向に分割し、第2符号化単位710a,710bを決定することができ、さらには、第2符号化単位710a,710bそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
【0114】
一実施形態による映像復号装置100は、左側の第2符号化単位710aを水平方向に分割し、第3符号化単位720a,720bに分割することができ、右側の第2符号化単位710bは、分割しないのである。
【0115】
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置100は、左側の第2符号化単位710aが分割されて決定された第3符号化単位720a,720bが処理される順序を、右側の第2符号化単位710bと独立して決定することができる。左側の第2符号化単位710aが水平方向に分割され、第3符号化単位720a,720bが決定されたので、第3符号化単位720a,720bは、垂直方向(720c)にも処理される。また、左側の第2符号化単位710a、及び右側の第2符号化単位710bが処理される順序は、水平方向(710c)に該当するので、左側の第2符号化単位710aに含まれる第3符号化単位720a,720bが垂直方向(720c)に処理された後、右側符号化単位710bが処理されうる。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定の順序によって独立して処理されうる多様な方法に利用されると解釈されなければならない。
【0116】
図8は、一実施形態による映像復号装置100が、所定の順序符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。
【0117】
一実施形態による映像復号装置100は、獲得された分割形態モード情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図8を参照すれば、正方形状の第1符号化単位800が、非正方形状の第2符号化単位810a、810bにも分割され、第2符号化単位810a、810bは、それぞれ独立して、第3符号化単位820a,820b,820c,820d,820eにも分割される。一実施形態による映像復号装置100は、第2符号化単位において、左側符号化単位810aは、水平方向に分割し、複数個の第3符号化単位820a,820bを決定することができ、右側符号化単位810bは、奇数個の第3符号化単位820c,820d,820eに分割することができる。
【0118】
一実施形態による映像復号装置100は、第3符号化単位820a,820b,820c,820d,820eが所定順序に処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図8を参照すれば、映像復号装置100は、第1符号化単位800を再帰的に分割し、第3符号化単位820a,820b,820c,820d,820eを決定することができる。映像復号装置100は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第1符号化単位800、第2符号化単位810a,810bまたは第3符号化単位820a,820b,820c,820d,820eが分割される形態において、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第2符号化単位810a,810bのうち、右側に位置する符号化単位が、奇数個の第3符号化単位820c,820d,820eにも分割される。第1符号化単位800に含まれる複数個の符号化単位が処理される順序は、所定の順序(例:zスキャン順序(830))にもなり、映像復号装置100は、右側第2符号化単位810bが奇数個に分割されて決定された第3符号化単位820c,820d,820eが、前記所定の順序によって処理されうる条件を満足するか否かということを判断することができる。
【0119】
一実施形態による映像復号装置100は、第1符号化単位800に含まれる第3符号化単位820a,820b,820c,820d,820eが、所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第3符号化単位820a,820b,820c,820d,820eの境界により、第2符号化単位810a,810bの幅及び高さのうち少なくとも一つが、半分に分割されるか否かということと係わる。例えば、非正方形状の左側第2符号化単位810aの高さを半分に分割して決定される第3符号化単位820a,820bは、該条件を満足させうる。右側第2符号化単位810bを、3個の符号化単位に分割して決定される第3符号化単位820c,820d,820eの境界が、右側第2符号化単位810bの幅または高さを半分に分割することができないので、第3符号化単位820c,820d,820eは、条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶(disconnection)と判断し、該判断結果に基づき、右側第2符号化単位810bは、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0120】
図9は、一実施形態による映像復号装置が第1符号化単位を分割し、少なくとも1つの符号化単位を決定する過程を図示する。
【0121】
一実施形態による映像復号装置100は、受信部110を介して獲得した分割形態モード情報に基づき、第1符号化単位900を分割することができる。正方形状の第1符号化単位900は、4個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図9を参照すれば、第1符号化単位900が正方形であり、分割形態モード情報が、非正方形の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位900を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態モード情報が、第1符号化単位900を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置100は、正方形状の第1符号化単位900を、奇数個の符号化単位として、垂直方向に分割されて決定された第2符号化単位910a,910b,910c、または水平方向に分割されて決定された第2符号化単位920a,920b,920cに分割することができる。
【0122】
一実施形態による映像復号装置100は、第1符号化単位900に含まれる第2符号化単位910a,910b,910c,920a,920b,920cが、所定の順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第2符号化単位910a,910b,910c,920a,920b,920cの境界に沿い、第1符号化単位900の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図9を参照すれば、正方形状の第1符号化単位900を、垂直方向に分割して決定される第2符号化単位910a,910b,910cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないと決定されうる。また、正方形状の第1符号化単位900を、水平方向に分割して決定される第2符号化単位920a,920b,920cの境界が、第1符号化単位900の幅を半分に分割することができないので、第1符号化単位900は、所定の順序によって処理されうる条件を満足することができないと決定されうる。映像復号装置100は、そのような条件不満足の場合、スキャン順序の断絶と判断し、該判断結果に基づき、第1符号化単位900は、奇数個の符号化単位に分割されると決定することができる。一実施形態による映像復号装置100は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定の制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。
【0123】
一実施形態により、映像復号装置100は、第1符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【0124】
図9を参照すれば、映像復号装置100は、正方形状の第1符号化単位900、非正方形状の第1符号化単位930または950を多様な形態の符号化単位に分割することができる。
【0125】
図10は、一実施形態による映像復号装置が、第1符号化単位が分割されて決定された非正方形状の第2符号化単位が、所定の条件を満足する場合、第2符号化単位が分割されうる形態が制限されることを図示する。
【0126】
一実施形態による映像復号装置100は、受信部110を介して獲得した分割形態モード情報に基づき、正方形状の第1符号化単位1000を非正方形状の第2符号化単位1010a,1010b,1020a,1020bに分割すると決定することができる。第2符号化単位1010a,1010b,1020a,1020bは、独立しても分割される。それにより、映像復号装置100は、第2符号化単位1010a,1010b,1020a,1020bそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態による映像復号装置100は、垂直方向に第1符号化単位1000が分割されて決定された非正方形状の左側第2符号化単位1010aを水平方向に分割し、第3符号化単位1012a,1012bを決定することができる。ただし、映像復号装置100は、左側第2符号化単位1010aを水平方向に分割した場合、右側第2符号化単位1010bは、左側第2符号化単位1010aが分割された方向と同一に、水平方向に分割されえないように制限することができる。もし右側第2符号化単位1010bが同一方向に分割され、第3符号化単位1014a,1014bが決定された場合、左側第2符号化単位1010a及び右側第2符号化単位1010bが水平方向にそれぞれ独立して分割されることにより、第3符号化単位1012a,1012b,1014a,1014bが決定されうる。しかしながら、それは、映像復号装置100が分割形態モード情報に基づき、第1符号化単位1000を4個の正方形状の第2符号化単位1030a,1030b,1030c,1030dに分割したところと同一結果であり、それは、映像復号側面において、非効率的でもある。
【0127】
一実施形態による映像復号装置100は、水平方向に第1符号化単位1000が分割されて決定された非正方形状の第2符号化単位1020aまたは1020bを垂直方向に分割し、第3符号化単位1022a,1022b,1024a,1024bを決定することができる。ただし、映像復号装置100は、第2符号化単位のうち一つ(例:上端第2符号化単位1020a)を垂直方向に分割した場合、前述の理由により、他の第2符号化単位(例:下端符号化単位1020b)は、上端第2符号化単位1020aが分割された方向と同一に、垂直方向に分割されえないように制限することができる。
【0128】
図11は、一実施形態により、分割形態モード情報が4個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置が正方形状の符号化単位を分割する過程を図示する。
【0129】
一実施形態による映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1100を分割し、第2符号化単位1110a,1110b,1120a,1120bを決定することができる。該分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれうるが、多様な形態に係わる情報には、正方形状の4個の符号化単位に分割するための情報が含まれえない場合がある。そのような分割形態モード情報によれば、映像復号装置100は、正方形状の第1符号化単位1100を、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割することができない。該分割形態モード情報に基づき、映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bを決定することができる。
【0130】
一実施形態による映像復号装置100は、非正方形状の第2符号化単位1110a,1110b,1120a,1120bをそれぞれ独立して分割することができる。再帰的な方法を介し、第2符号化単位1110a,1110b,1120a,1120bそれぞれが所定順に分割され、それは、分割形態モード情報に基づき、第1符号化単位1100が分割される方法に対応する分割方法でもある。
【0131】
例えば、映像復号装置100は、左側第2符号化単位1110aが水平方向に分割され、正方形状の第3符号化単位1112a,1112bを決定することができ、右側第2符号化単位1110bが水平方向に分割され、正方形状の第3符号化単位1114a,1114bを決定することができる。さらには、映像復号装置100は、左側第2符号化単位1110a及び右側第2符号化単位1110bのいずれもが水平方向に分割され、正方形状の第3符号化単位1116a,1116b,1116c,1116dを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0132】
他の例を挙げれば、映像復号装置100は、上端第2符号化単位1120aが垂直方向に分割され、正方形状の第3符号化単位1122a,1122bを決定することができ、下端第2符号化単位1120bが垂直方向に分割され、正方形状の第3符号化単位1124a,1124bを決定することができる。さらには、映像復号装置100は、上端第2符号化単位1120a及び下端第2符号化単位1120bのいずれもが垂直方向に分割され、正方形状の第3符号化単位1126a,1126b,1126a,1126bを決定することもできる。そのような場合、第1符号化単位1100が、4個の正方形状の第2符号化単位1130a,1130b,1130c,1130dに分割されたところと同一形態に符号化単位が決定されうる。
【0133】
図12は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によっても異なりうるところと図示したものである。
【0134】
一実施形態による映像復号装置100は、分割形態モード情報に基づき、第1符号化単位1200を分割することができる。ブロック形態が正方形であり、分割形態モード情報が、第1符号化単位1200が水平方向及び垂直方向のうち少なくとも1つの方向に分割されることを示す場合、映像復号装置100は、第1符号化単位1200を分割し、第2符号化単位(例:1210a,1210b,1220a,1220b)を決定することができる。図12を参照すれば、第1符号化単位1200が、水平方向または垂直方向だけに分割されて決定された非正方形状の第2符号化単位1210a,1210b,1220a,1220bは、それぞれに係わる分割形態モード情報に基づき、独立しても分割される。例えば、映像復号装置100は、第1符号化単位1200が垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、第1符号化単位1200が水平方向に分割されて生成された第2符号化単位1220a,1220bを水平方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができる。そのような第2符号化単位1210a,1210b,1220a,1220bの分割過程は、図11と係わって説明したので、詳細な説明は、省略する。
【0135】
一実施形態による映像復号装置100は、所定の順序により、符号化単位を処理することができる。所定の順序による符号化単位の処理に係わる特徴は、図7と係わって説明したので、詳細な説明は、省略する。図12を参照すれば、映像復号装置100は、正方形状の第1符号化単位1200を分割し、4個の正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dを決定することができる。一実施形態による映像復号装置100は、第1符号化単位1200が分割される形態により、第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dの処理順序を決定することができる。
【0136】
一実施形態による映像復号装置100は、垂直方向に分割されて生成された第2符号化単位1210a,1210bを水平方向にそれぞれ分割し、第3符号化単位1216a,1216b,1216c,1216dを決定することができ、映像復号装置100は、左側第2符号化単位1210aに含まれる第3符号化単位1216a,1216cを垂直方向にまず処理した後、右側第2符号化単位1210bに含まれる第3符号化単位1216b,1216dを垂直方向に処理する順序(1217)により、第3符号化単位1216a,1216b,1216c,1216dを処理することができる。
【0137】
一実施形態による映像復号装置100は、水平方向に分割されて生成された第2符号化単位1220a,1220bを垂直方向にそれぞれ分割し、第3符号化単位1226a,1226b,1226c,1226dを決定することができ、映像復号装置100は、上端第2符号化単位1220aに含まれる第3符号化単位1226a,1226bを水平方向にまず処理した後、下端第2符号化単位1220bに含まれる第3符号化単位1226c,1226dを水平方向に処理する順序(1227)により、第3符号化単位1226a,1226b,1226c,1226dを処理することができる。
【0138】
図12を参照すれば、第2符号化単位1210a,1210b,1220a,1220bがそれぞれ分割され、正方形状の第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dが決定されうる。垂直方向に分割されて決定された第2符号化単位1210a,1210b、及び水平方向に分割されて決定された第2符号化単位1220a,1220bは、互いに異なる形態に分割されたものであるが、その後に決定される第3符号化単位1216a,1216b,1216c,1216d,1226a,1226b,1226c,1226dによれば、結局、同一形態の符号化単位に第1符号化単位1200が分割された結果になる。それにより、映像復号装置100は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するとしても、同一形態に決定された複数個の符号化単位に対し、互いに異なる順序処理することができる。
【0139】
図13は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【0140】
一実施形態による映像復号装置100は、符号化単位の深度を、所定の基準によって決定することができる。例えば、該所定の基準は、符号化単位の長辺の長さにもなる。映像復号装置100は、現在符号化単位の長辺の長さが、分割される前の符号化単位の長辺の長さより2(n>0)倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりnほど深度が増大されたと決定することができる。以下においては、深度が増大された符号化単位を、下位深度の符号化単位と表現する。
【0141】
図13を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報(例えば、ブロック形態情報は、「0:SQUARE」を示しうる)に基づき、映像復号装置100は、正方形状である第1符号化単位1300を分割し、下位深度の第2符号化単位1302、第3符号化単位1304などを決定することができる。正方形状の第1符号化単位1300の大きさを2Nx2Nとするならば、第1符号化単位1300の幅及び高さを1/2倍に分割して決定された第2符号化単位1302は、NxNの大きさを有することができる。さらには、第2符号化単位1302の幅及び高さを1/2サイズに分割して決定された第3符号化単位1304は、N/2xN/2の大きさを有することができる。その場合、第3符号化単位1304の幅及び高さは、第1符号化単位1300の1/4倍に該当する。第1符号化単位1300の深度がDである場合、第1符号化単位1300の幅及び高さの1/2倍である第2符号化単位1302の深度は、D+1でもあり、第1符号化単位1300の幅及び高さの1/4倍である第3符号化単位1304の深度は、D+2でもある。
【0142】
一実施形態により、非正方形状を示すブロック形態情報(例えば、該ブロック形態情報は、高さが幅より大きい非正方形であることを示す「1:NS_VER」、または幅が高さより大きい非正方形であることを示す「2:NS_HOR」を示しうる)に基づき、映像復号装置100は、非正方形状である第1符号化単位1310または1320を分割し、下位深度の第2符号化単位1312または1322、第3符号化単位1314または1324を決定することができる。
【0143】
映像復号装置100は、Nx2Nサイズの第1符号化単位1310の幅及び高さのうち少なくとも一つを分割し、第2符号化単位(例:1302,1312,1322)を決定することができる。すなわち、映像復号装置100は、第1符号化単位1310を水平方向に分割し、NxNサイズの第2符号化単位1302、またはNxN/2サイズの第2符号化単位1322を決定することができ、水平方向及び垂直方向に分割し、N/2xNサイズの第2符号化単位1312を決定することもできる。
【0144】
一実施形態による映像復号装置100は、2NxNサイズの第1符号化単位1320の幅及び高さのうち少なくとも一つを分割し、第2符号化単位(例:1302,1312,1322)を決定することもできる。すなわち、映像復号装置100は、第1符号化単位1320を垂直方向に分割し、NxNサイズの第2符号化単位1302、またはN/2xNサイズの第2符号化単位1312を決定することができ、水平方向及び垂直方向に分割し、NxN/2サイズの第2符号化単位1322を決定することもできる。
【0145】
一実施形態による映像復号装置100は、NxNサイズの第2符号化単位1302の幅及び高さのうち少なくとも一つを分割し、第3符号化単位(例:1304,1314,1324)を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1302を垂直方向及び水平方向に分割し、N/2xN/2サイズの第3符号化単位1304を決定するか、N/4xN/2サイズの第3符号化単位1314を決定するか、あるいはN/2xN/4サイズの第3符号化単位1324を決定することができる。
【0146】
一実施形態による映像復号装置100は、N/2xNサイズの第2符号化単位1312の幅及び高さのうち少なくとも一つを分割し、第3符号化単位(例:1304,1314,1324)を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1312を水平方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/2xN/4サイズの第3符号化単位1324を決定するか、あるいは垂直方向及び水平方向に分割し、N/4xN/2サイズの第3符号化単位1314を決定することができる。
【0147】
一実施形態による映像復号装置100は、NxN/2サイズの第2符号化単位1322の幅及び高さのうち少なくとも一つを分割し、第3符号化単位(例:1304,1314,1324)を決定することもできる。すなわち、映像復号装置100は、第2符号化単位1322を垂直方向に分割し、N/2xN/2サイズの第3符号化単位1304、またはN/4xN/2サイズの第3符号化単位1314を決定するか、あるいは垂直方向及び水平方向に分割し、N/2xN/4サイズの第3符号化単位1324を決定することができる。
【0148】
一実施形態による映像復号装置100は、正方形状の符号化単位(例:1300,1302,1304)を水平方向または垂直方向に分割することができる。例えば、2Nx2Nサイズの第1符号化単位1300を垂直方向に分割し、Nx2Nサイズの第1符号化単位1310を決定するか、あるいは水平方向に分割し、2NxNサイズの第1符号化単位1320を決定することができる。一実施形態により、深度が符号化単位の最大長辺の長さに基づいて決定される場合、2Nx2Nサイズの第1符号化単位1300が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第1符号化単位1300の深度と同一でもある。
【0149】
一実施形態により、第3符号化単位1314または1324の幅及び高さは、第1符号化単位1310または1320の1/4倍にも該当する。第1符号化単位1310または1320の深度がDである場合、第1符号化単位1310または1320の幅及び高さの1/2倍である第2符号化単位1312または1322の深度は、D+1でもあり、第1符号化単位1310または1320の幅及び高さの1/4倍である第3符号化単位1314または132)の深度は、D+2でもある。
【0150】
図14は、一実施形態により、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス(PID:part index)を図示する。
【0151】
一実施形態による映像復号装置100は、正方形状の第1符号化単位1400を分割し、多様な形態の第2符号化単位を決定することができる。図14を参照すれば、映像復号装置100は、分割形態モード情報により、第1符号化単位1400を、垂直方向及び水平方向のうち少なくとも1つの方向に分割し、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。すなわち、映像復号装置100は、第1符号化単位1400に係わる分割形態モード情報に基づき、第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dを決定することができる。
【0152】
一実施形態により、正方形状の第1符号化単位1400に係わる分割形態モード情報によって決定される第2符号化単位1402a,1402b,1404a,1404b,1406a,1406b,1406c,1406dは、長辺の長さに基づき、深度が決定されうる。例えば、正方形状の第1符号化単位1400の一辺の長さと、非正方形状の第2符号化単位1402a,1402b,1404a,1404bの長辺の長さとが同一であるので、第1符号化単位1400と、非正方形状の第2符号化単位1402a,1402b,1404a,1404bとの深度は、Dで等しいと見ることができる。それに対し、映像復号装置100が分割形態モード情報に基づき、第1符号化単位1400を4個の正方形状の第2符号化単位1406a,1406b,1406c,1406dに分割した場合、正方形状の第2符号化単位1406a,1406b,1406c,1406dの一辺の長さは、第1符号化単位1400の一辺の長さの1/2倍であるので、第2符号化単位1406a,1406b,1406c,1406dの深度は、第1符号化単位1400の深度であるDより1深度下位であるD+1の深度でもある。
【0153】
一実施形態による映像復号装置100は、高さが幅より大きい形態の第1符号化単位1410を、分割形態モード情報によって水平方向に分割し、複数個の第2符号化単位1412a,1412b,1414a,1414b,1414cに分割することができる。一実施形態による映像復号装置100は、幅が高さより大きい形態の第1符号化単位1420を分割形態モード情報によって垂直方向に分割し、複数個の第2符号化単位1422a,1422b,1424a,1424b,1424cに分割することができる。
【0154】
一実施形態により、非正方形状の第1符号化単位1410または1420に係わる分割形態モード情報によって決定される第2符号化単位1412a,1412b,1414a,1414b,1414c,1422a,1422b,1424a,1424b,1424cは、長辺の長さに基づき、深度が決定されうる。例えば、正方形状の第2符号化単位1412a,1412bの一辺の長さは、高さが幅より大きい非正方形状の第1符号化単位1410の一辺の長さの1/2倍であるので、正方形状の第2符号化単位1412a,1412bの深度は、非正方形状の第1符号化単位1410の深度Dより1深度下位の深度であるD+1である。
【0155】
さらには、映像復号装置100が分割形態モード情報に基づき、非正方形状の第1符号化単位1410を奇数個の第2符号化単位1414a,1414b,1414cに分割することができる。奇数個の第2符号化単位1414a,1414b,1414cは、非正方形状の第2符号化単位1414a,1414c、及び正方形状の第2符号化単位1414bを含むものでもある。その場合、非正方形状の第2符号化単位1414a,1414cの長辺の長さ、及び正方形状の第2符号化単位1414bの一辺の長さは、第1符号化単位1410の一辺の長さの1/2倍であるので、第2符号化単位1414a,1414b,1414cの深度は、第1符号化単位1410の深度であるDより1深度下位であるD+1の深度でもある。映像復号装置100は、第1符号化単位1410と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第1符号化単位1420と係わる符号化単位の深度を決定することができる。
【0156】
一実施形態による映像復号装置100は、分割された符号化単位の区分のためのインデックス(PID)決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックスを決定することができる。図14を参照すれば、奇数個に分割された符号化単位1414a,1414b,1414cのうち、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。すなわち、その場合、真ん中に位置する符号化単位1414bは、他の符号化単位1414a,1414cの二つを含むものでもある。従って、スキャン順序により、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増大した3でもある。すなわち、インデックスの値の不連続性が存在しうる。一実施形態による映像復号装置100は、そのような分割された符号化単位間区分のためのインデックスの不連続性の存在いかんに基づき、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
【0157】
一実施形態による映像復号装置100は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図14を参照すれば、映像復号装置100は、高さが幅より大きい長方形状の第1符号化単位1410を分割し、偶数個の符号化単位1412a,1412bを決定するか、あるいは奇数個の符号化単位1414a,1414b,1414cを決定することができる。映像復号装置100は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス(PID)を利用することができる。一実施形態により、該インデックス(PID)は、それぞれの符号化単位の所定位置のサンプル(例:左側上端サンプル)からも獲得される。
【0158】
一実施形態による映像復号装置100は、符号化単位区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第1符号化単位1410に係わる分割形態モード情報が、3個の符号化単位に分割されることを示す場合、映像復号装置100は、第1符号化単位1410を3個の符号化単位1414a,1414b,1414cに分割することができる。映像復号装置100は、3個の符号化単位1414a,1414b,1414cそれぞれに係わるインデックスを割り当てることができる。映像復号装置100は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置100は、符号化単位のインデックスに基づき、インデックスのうち、真ん中値に該当するインデックスを有する符号化単位1414bを、第1符号化単位1410が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態による映像復号装置100は、分割された符号化単位区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさの比率に基づき、インデックスを決定することができる。図14を参照すれば、第1符号化単位1410が分割されて生成された符号化単位1414bは、他の符号化単位1414a,1414cと、幅は、同一であるが、高さが異なる符号化単位1414a,1414cの高さの2倍でもある。その場合、真ん中に位置する符号化単位1414bのインデックス(PID)が1であるならば、その次の順序に位置する符号化単位1414cは、インデックスが2が増大した3でもある。そのような場合のように、均一にインデックスが増大していて増大幅が異なる場合、映像復号装置100は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる。一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置100は、奇数個の符号化単位のうち、所定位置の符号化単位(例:真ん中符号化単位)が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置100は、符号化単位に係わるインデックス(PID)を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定すべき所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。
【0159】
一実施形態による映像復号装置100は、符号化単位の再帰的な分割が始まる所定のデータ単位を利用することができる。
【0160】
図15は、一実施形態により、ピクチャに含まれる複数個の所定のデータ単位により、複数個の符号化単位が決定されたところを図示する。
【0161】
一実施形態により、該所定のデータ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位にも該当する。以下においては、説明上の便宜のために、そのような所定のデータ単位を基準データ単位と称する。
【0162】
一実施形態により、該基準データ単位は、所定の大きさ及び形態を示しうる。一実施形態により、基準符号化単位は、MxNのサンプルを含むものでもある。ここで、M及びNは、互いに同一でもあり、2の乗数として表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形の形態を示し、その後、整数個の符号化単位にも分割される。
【0163】
一実施形態による映像復号装置100は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態による映像復号装置100は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー(quad-tree)構造を利用した分割過程に対応しうる。
【0164】
一実施形態による映像復号装置100は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、映像復号装置100は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも1つの符号化単位を決定することができる。
【0165】
図15を参照すれば、映像復号装置100は、正方形状の基準符号化単位1500を利用することができ、または非正方形状の基準符号化単位1502を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも1つの基準符号化単位を含む多様なデータ単位(例:シーケンス(sequence)、ピクチャ(picture)、スライス(slice)、スライスセグメント(slice segment)、タイル(tile)、タイルグループ(tile group)、最大符号化単位など)によっても決定される。
【0166】
一実施形態による映像復号装置100の受信部110は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位1500に含まれる少なくとも1つの符号化単位が決定される過程は、図3の現在符号化単位300が分割される過程を介して説明し、非正方形状の基準符号化単位1502に含まれる少なくとも1つの符号化単位の決定される過程は、図4の現在符号化単位400または450が分割される過程を介して説明したので、詳細な説明は、省略する。
【0167】
一実施形態による映像復号装置100は、所定の条件に基づき、事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部110は、ビットストリームから、前記多様なデータ単位(例:シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など)のうち、所定の条件(例:スライス以下の大きさを有するデータ単位)を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスだけを獲得することができる。映像復号装置100は、インデックスを利用することにより、前記所定の条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を、相対的に小さいサイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスだけを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されてもいる。すなわち、映像復号装置100は、既決定基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【0168】
一実施形態による映像復号装置100は、1つの最大符号化単位に含まれる少なくとも1つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも1つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、該最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも1つの整数倍にも該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造により、n回分割された大きさでもある。すなわち、映像復号装置100は、最大符号化単位を、クアッドツリー構造によってn回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。
【0169】
一実施形態による映像復号装置100は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報を、ビットストリームから獲得して利用することができる。分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれうる。例えば、映像復号装置100は、シーケンスパラメータセット(sequence parameter set)、ピクチャパラメータセット(picture parameter set)、ビデオパラメータセット(video parameter set)、スライスヘッダ(slice header)、スライスセグメントヘッダ(slice segment header)、タイルヘッダ(tile header)、タイルグループヘッダ(tile group header)に含まれた分割形態モード情報を利用することができる。さらには、映像復号装置100は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントをビットストリームから獲得して利用することができる。
【0170】
以下、本開示の一実施形態による分割規則を決定する方法について詳細に説明する。
【0171】
映像復号装置100は、映像の分割規則を決定することができる。該分割規則は、映像復号装置100と映像符号化装置2200との間に事前に決定されてもいる。映像復号装置100は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。映像復号装置100は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。映像復号装置100は、分割規則を、フレーム、スライス、タイル、テンポラルレイヤ(temporal layer)、最大符号化単位または符号化単位により、異なるように決定することができる。
【0172】
映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することができる。該ブロック形態は、符号化単位の大きさ、形態、幅及び高さの比率、方向を含むものでもある。映像復号装置100は、符号化単位のブロック形態に基づき、分割規則を決定することを事前に決定することができる。しかしながら、それに限定されるものではない。映像復号装置100は、受信されたビットストリームから獲得された情報に基づき、分割規則を決定することができる。
【0173】
符号化単位の形態は、正方形及び非正方形を含むものでもある。符号化単位の幅及び高さの大きさが同じである場合、映像復号装置100は、符号化単位の形態を正方形と決定することができる。また、符号化単位の幅及び高さの大きさが同じではない場合、映像復号装置100は、符号化単位の形態を非正方形と決定することができる。
【0174】
符号化単位の大きさは、4x4、8x4、4x8、8x8、16x4、16x8、…、256x256の多様な大きさを含むものでもある。該符号化単位の大きさは、符号化単位の長辺の長さ、短辺の長さ、または広さによっても分類される。映像復号装置100は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置100は、同一長辺長を有する符号化単位を、同一サイズに分類することができる。また、映像復号装置100は、同一長辺長を有する符号化単位につき、同一分割規則を適用することができる。
【0175】
符号化単位の幅及び高さの比率は1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1または1:32などを含むものでもある。また、符号化単位の方向は、水平方向及び垂直方向を含むものでもある。該水平方向は、符号化単位幅の大きさが、高さの大きさより大きい場合を示しうる。該垂直方向は、符号化単位幅の大きさが、高さの大きさより小さい場合を示しうる。
【0176】
映像復号装置100は、符号化単位の大きさに基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位の大きさに基づき、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置100は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。映像復号装置100は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置100は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。
【0177】
符号化単位の大きさに基づき、分割規則を決定することは、映像復号装置100間に既決定分割規則でもある。また、映像復号装置100は、ビットストリームから獲得された情報に基づき、分割規則を決定することができる。
【0178】
映像復号装置100は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。映像復号装置100は、符号化単位が、映像で占める位置に基づき、分割規則を適応的に決定することができる。
【0179】
また、映像復号装置100は、互いに異なる分割経路によって生成された符号化単位が、同一ブロック形態を有さないように分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路によって生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路によって生成された符号化単位は、互いに異なる復号処理順序を有することができる。該復号処理順序については、図12と共に説明したので、詳細な説明は、省略する。
【0180】
図16は、映像符号化及び復号システムのブロック図を示した図面である。
【0181】
映像符号化及び復号システム1600の符号化器1610は、映像の符号化されたビットストリームを伝送し、復号器1650は、ビットストリームを受信して復号することで復元映像を出力する。ここで、復号器1650は、映像復号装置100に類似した構成でもある。
【0182】
符号化端1610において、インター予測符号化部1605は、現在ブロックの予測モードがインター予測モードである場合、現在ピクチャに時間的に隣接する参照ピクチャの参照ブロックを示す現在ブロックの動き情報を生成する。インター予測符号化部1605は、参照ブロックのサンプルを利用し、現在ブロックの予測サンプルを決定することができる。イントラ予測符号化部1610は、現在ブロックに空間的に隣接する隣接サンプルを利用し、現在ブロックの予測サンプルを決定するように、現在ブロックと類似した隣接サンプルが位置する方向または予測サンプルを決定する方式を示すイントラ予測情報を決定することができる。インター予測符号化部1605は、DPB(decoded picture buffer)1648に保存されている、まず復元されたサンプルのうち、現在ブロックの予測のために利用する参照サンプルを決定することができる。
【0183】
変換部1620は、現在ブロックの原本サンプルから、インター予測符号化部1605またはイントラ予測符号化部1610によって生成された予測サンプルを抜き取ったレジデュアルサンプル値について変換を行い、変換係数を出力する。変換部1620から出力された変換係数を、量子化部1625が量子化し、量子化された変換係数を出力する。エントロピー符号化部1630は、量子化された変換係数を、レベル値を含むレジデュアルシンタックスエレメントに符号化し、ビットストリームの形態に出力することができる。
【0184】
量子化部1625から出力された量子化された変換係数は、逆量子化部1633及び逆変換部1635を介し、逆量子化及び逆変換され、さらにレジデュアルサンプル値が生成されうる。
【0185】
加算器1615において、レジデュアルサンプル値と予測サンプル値とが合わされ、復元サンプル値が出力される。復元後フィルタリング部1640は、復元サンプルについて復元後フィルタリングを行い、該復元後フィルタリングを介して更新された復元サンプル値は、イントラ予測部1610で行われるイントラ予測のための参照サンプル値としても利用される。復元後フィルタリング部1640は、復元サンプル値につき、アダマール変換領域フィルタリングまたはバイラテラルフィルタリングを行うことができる。
【0186】
インループフィルタリング部1645は、復元後フィルタリングを介して更新された復元サンプルにつき、デブロッキングフィルタリング及び適応的ループフィルタリングのうち少なくとも一つを遂行することができる。インループフィルタリング部1645のフィルタリングを介して更新された復元サンプル値は、DPB 1648に保存され、インター予測部1605で行われるインター予測のための参照サンプル値としても利用される。
【0187】
復号器1650のエントロピー復号部1655は、受信されたビットストリームについてエントロピー復号を行い、レベル値を含むレジデュアルシンタックスエレメントをパージングすることができる。レジデュアルシンタックスエレメントから量子化された変換係数を復元することができる。逆量子化部1660は、量子化された変換係数について逆量子化を行い、変換係数を出力し、逆変換部1665は、変換係数について逆変換を行い、レジデュアルサンプル値を出力することができる。
【0188】
復号器1650のインター予測符号化部1670は、エントロピー復号部1655でパージングした現在ブロックの動き情報を利用し、現在ピクチャに時間的に隣接する参照ピクチャを決定し、参照ピクチャ内の参照ブロックを決定することができる。インター予測符号化部1670は、参照ブロックのサンプルを利用し、現在ブロックの予測サンプルを決定することができる。復号器1650のイントラ予測符号化部1675は、エントロピー復号部1655でパージングした現在ブロックの動き情報を利用し、イントラ予測情報を利用し、現在ブロックに空間的に隣接する参照サンプルを決定し、決定された隣接サンプルを利用し、現在ブロックの予測サンプルを決定することができる。インター予測符号化部1670は、DPB(decoded picture buffer)1690に保存されている、まず復元されたサンプルのにおいて、現在ブロックの予測のために利用する参照サンプルを決定することができる。
【0189】
復号器1650の加算器1695において、レジデュアルサンプル値と予測サンプル値とが合わされ、現在ブロックの復元サンプル値を出力する。復号器1650の復元後フィルタリング部1680は、復元サンプル値につき、アダマール変換領域フィルタリングまたはバイラテラルフィルタリングを行うことができる。復元後フィルタリング部1680のフィルタリングを介して更新された復元サンプル値は、イントラ予測部1675で行われるイントラ予測のための参照サンプル値としても利用される。
【0190】
復号器1650のインループフィルタリング部1685は、復元後フィルタリングを介して更新された復元サンプルについて利用され、デブロッキングフィルタリング及び適応的ループフィルタリングのうち少なくとも一つを行うことができる。インループフィルタリング部1685のフィルタリングを介して更新された復元サンプル値は、DPB 1690に保存され、インター予測部1670で行われるインター予測のための参照サンプル値としても利用される。
【0191】
一実施形態によるビデオ符号化方法及びビデオ復号方法、ビデオ符号化装置及びビデオ復号装置は、先の図1ないし16を参照して説明されたビデオ符号化装置及びビデオ復号装置で決定されたデータ単位に基づき、量子化または逆量子化を行う方法を提案する。以下、図17ないし図40を参照し、本明細書で開示された一実施形態により、量子化パラメータ(QP:quantization parameter)を決定し、量子化または逆量子化を行うビデオ符号化方法及びその装置、またはビデオ復号方法及びその装置について説明される。
【0192】
図17は、一実施形態によるビデオ復号装置のブロック図を図示する。
【0193】
一実施形態によるビデオ復号装置1700は、獲得部1710及び復号部1720を含む。ビデオ復号装置1700は、映像の符号化結果として生成されたビットストリームを獲得し、ビットストリームに含まれた情報に基づき、ピクチャから分割されたブロックの位置を把握し、最大符号化単位及び符号化単位のようなブロックを復号することができる。
【0194】
ビデオ復号装置1700は、獲得部1710及び復号部1720の入出力データが保存される1以上のデータ保存部(図示せず)を含むものでもある。ビデオ復号装置1700は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含むものでもある。
【0195】
ビデオ復号装置1700は、映像復号を介して映像を復元するため、内部に搭載されたビデオデコーディングプロセッサまたは外部のビデオデコーディングプロセッサと連繋して作動することにより、予測を含む映像復号動作を遂行することができる。一実施形態によるビデオ復号装置1700の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が、映像デコーディングプロセッシングモジュールを含むことにより、基本的な映像復号動作を具現することもできる。
【0196】
ビデオ復号装置1700は、前述の映像復号装置100に含まれうる。例えば、獲得部1710及び復号部1720は、映像復号装置100の復号部120に対応しうる。ビデオ復号装置1700は、図16を参照して説明した映像符号化及び復号システムの復号器1650に対応しうる。例えば、復号部1720は、復号器1650の逆量子化部1633の機能を含むものでもある。
【0197】
ビデオ復号装置1700は、映像の符号化結果として生成されたビットストリームを受信する。該ビットストリームは、現在ピクチャに係わる情報を含むものでもある。該ピクチャは、1以上の最大符号化単位を含むものでもある。ビデオ復号装置1700は、ビットストリームから獲得された情報に基づき、ピクチャ内において、現在ブロックの位置を決定することができる。現在ブロックは、ピクチャから、ツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位または符号化単位に対応しうる。ビデオ復号装置1700は、現在ブロックが、下位デプスの下位ブロックにさらに分割されるか否かということを決定し、現在ブロックのツリー構造を決定することができる。現在ブロックの現在デプスに比べ、現在ブロックから下位ブロックまで分割された回数ほど増大され、下位デプスが決定されうる。現在ピクチャに含まれたツリー構造をなしているブロックにおいて、ツリーリーフに位置するブロックは、それ以上分割されないブロックである。従って、ビデオ復号装置1700は、それ以上分割されない1以上のブロックにつき、逆量子化、逆変換、予測を行うことにより、ブロックを復号することができる。
【0198】
ビデオ復号装置1700は、現在ブロックについて予測を行い、現在ブロックの予測サンプルを生成することができる。ビデオ復号装置1700は、現在ブロックについて逆変換を行い、前記現在ブロックのレジデュアルサンプルを生成することができる。復元部1730は、現在ブロックの予測サンプルと、現在ブロックのレジデュアルサンプルとを利用し、現在ブロックの復元サンプルを生成することができる。ビデオ復号装置1700は、ブロックごとにサンプルを復元することにより、現在ピクチャを復元することができる。
【0199】
例えば、現在ブロックの予測モードがイントラモードである場合、ビデオ復号装置1700は、現在ブロックのイントラ予測情報を利用し、イントラ予測方向に位置した空間的隣接ブロックのサンプルのうち参照サンプルを決定し、参照サンプルを利用し、現在ブロックに対応する予測サンプルを決定することができる。
【0200】
例えば、現在ブロックの予測モードがインターモードである場合、ビデオ復号装置1700は、現在ブロックの動きベクトルを利用し、現在ブロックを復元することができる。ビデオ復号装置1700は、現在ブロックの動きベクトルを利用し、参照ピクチャ内の参照ブロックを決定し、参照ブロックに含まれた参照サンプルから、現在ブロックに対応する予測サンプルを決定することができる。ビデオ復号装置1700は、ビットストリームから獲得した変換係数レベルを利用し、変換係数を復元し、変換係数について逆量子化及び逆変換を行い、レジデュアルサンプルを復元することができる。ビデオ復号装置1700は、現在ブロックに対応する予測サンプルと、レジデュアルサンプルとを組み合わせ、現在ブロックの復元サンプルを決定することができる。
【0201】
現在ブロックがスキップモードでもって予測される場合、ビデオ復号装置1700は、ビットストリームから、現在ブロックの変換係数をパージングする必要がない。ビデオ復号装置1700は、現在ブロックの予測サンプルをそのまま利用し、現在ブロックの復元サンプルを決定することができる。
【0202】
一実施形態によるビデオ復号装置1700は、逆量子化を行うために、量子化パラメータ(QP)を利用する。該QPは、符号化単位別に設定され、符号化単位に含まれた変換係数に1つのQPが適用されうる。ピクチャは、1以上のスライスを含むものでもあり、1つのスライスは、1以上の符号化単位を含むものでもある。ビデオ復号装置1700は、符号化単位別にQPを決定するために、符号化単位別、スライス別またはピクチャ別にQPを決定するために必要な情報を、ビットストリームから獲得することができる。
【0203】
一実施形態による獲得部1710は、符号化単位別でQPを決定するために必要な情報を、符号化単位関連ビットストリームシンタックスから獲得することができる。獲得部1710は、スライス別にQPを決定するために必要な情報を、スライスヘッダシンタックスから獲得することができる。獲得部1710は、ピクチャ別にQPを決定するために必要な情報を、ピクチャヘッダシンタックスから獲得することができる。
【0204】
まず、ビデオ復号装置1700が、ピクチャ別にQP差分値を獲得するか、あるいはスライス別にQP差分値を獲得するかということを、ピクチャパラメータセットレベルで決定することができる。
【0205】
一実施形態による獲得部1710は、ピクチャパラメータセットから、現在ピクチャに適用されるQP初期値を獲得することができる。また、獲得部1710は、ピクチャパラメータセットから、現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報を獲得することができる。ピクチャヘッダQP差分値情報が、ピクチャヘッダに、QP差分値情報が存在することを示せば、前記獲得部1710は、ピクチャヘッダから、現在ピクチャのための第1 QP差分値を獲得することができる。ピクチャヘッダQP差分値情報が、ピクチャヘッダに、QP差分値情報が存在しないことを示せば、獲得部1710は、現在ピクチャに含まれた現在スライスのスライスヘッダから、現在スライスのための第2 QP差分値を獲得することができる。
【0206】
一実施形態による復号部1720は、ピクチャヘッダQP差分値情報が、ピクチャヘッダに、QP差分値情報が存在することを示せば、現在ピクチャに含まれた符号化単位のためのQPを、QP初期値と第1 QP差分値とを利用して決定することができる。復号部1720は、第1 QP差分値を利用し、QPを利用し、現在ピクチャに含まれた符号化単位につき、逆量子化を行うことができる。
【0207】
一実施形態による復号部1720は、ピクチャヘッダQP差分値情報が、ピクチャヘッダに、QP差分値情報が存在しないことを示せば、現在スライスに含まれた符号化単位のためのQPを、QP初期値と第2 QP差分値とを利用して決定することができる。復号部1720は、第2 QP差分値を利用して決定されたQPを利用し、現在スライスに含まれた符号化単位につき、逆量子化を行うことができる。
【0208】
以下、図18を参照し、ビデオ復号装置1700が、ピクチャ別またはスライス別にQP差分値情報を獲得し、符号化単位別に逆量子化を行う過程について詳述する。
【0209】
図18は、一実施形態によるビデオ復号方法のフローチャートを図示する。
【0210】
段階1810において、獲得部1710は、現在ピクチャに適用されるQP初期値及びピクチャヘッダQP差分値情報を、ピクチャパラメータセットから獲得することができる。一実施形態によるピクチャヘッダQP差分値情報は、現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示しうる。
【0211】
段階1820において、現在ピクチャのピクチャヘッダに、QP差分値情報が存在することを、ピクチャヘッダQP差分値情報が示す場合、獲得部1810は、ピクチャヘッダから、現在ピクチャのための第1 QP差分値を獲得することができる。
【0212】
段階1830において、復号部1820は、現在ピクチャに含まれた符号化単位のためのQPを、QP初期値と第1 QP差分値とを利用して決定することができる。
【0213】
段階1840において、復号部1820は、第1 QP差分値を利用して決定されたQPを利用し、符号化単位につき、逆量子化を行い、符号化単位の変換係数を獲得することができる。すなわち、第1 QP差分値を利用して決定されたQPを利用し、現在ピクチャに含まれた符号化単位につき、逆量子化が行われうる。
【0214】
段階1850において、復号部1820は、段階1840で獲得された符号化単位の変換係数を利用し、符号化単位を復元することができる。復号部1820は、変換係数について逆変換を行い、レジデュアルサンプルを獲得し、レジデュアルサンプルを利用し、符号化単位の復元サンプルを決定することができる。
【0215】
一実施形態により、ピクチャヘッダQP差分値情報が、ピクチャヘッダに、QP差分値情報が存在しないことを示す場合、獲得部1710は、現在ピクチャに含まれた現在スライスのスライスヘッダから、現在スライスのための第2 QP差分値を獲得することができる。復号部1720は、現在スライスに含まれた符号化単位のためのQPを、QP初期値と第2 QP差分値とを利用して決定することができる。復号部1720は、第2 QP差分値を利用して決定されたQPを利用し、符号化単位につき、逆量子化を行い、符号化単位の変換係数を獲得することができる。復号部1720は、変換係数を利用し、符号化単位を復元することができる。すなわち、第2 QP差分値を利用して決定されたQPを利用し、現在スライスに含まれた符号化単位につき、逆量子化が行われうる。
【0216】
段階1820において、ピクチャヘッダQP差分値情報が、現在ピクチャのピクチャヘッダに、QP差分値情報が存在することを示す場合、獲得部1810は、ピクチャヘッダから、現在ピクチャのルマ成分のための前記第1 QP差分値を獲得することができる。復号部1820は、QP初期値と、ルマ成分のための前記第1 QP差分値とを加えることにより、現在ピクチャに含まれるスライスのルマ成分のためのQPを決定することができる。復号部1820は、スライスのルマ成分のためのQPを利用し、現在ピクチャに含まれながら、現在ピクチャに含まれたスライスに含まれた符号化単位のQPを決定することができる。
【0217】
段階1820において、獲得部1710は、符号化単位のためのQP差分値を、ビットストリームから獲得することができる。復号部1820は、スライスのルマ成分のためのQPと、符号化単位のためのQP差分値とを利用し、符号化単位のルマ成分のためのQPを決定することができる。復号部1820は、符号化単位のためのQPを利用し、符号化単位に含まれた変換係数について逆量子化を行うことができる。逆量子化された変換係数について逆変換を行い、符号化単位のレジデュアルサンプルが復号されうる。
【0218】
他の実施形態による獲得部1710は、符号化単位のためのQP差分値を、ビットストリームから獲得しないのである。その場合、復号部1810は、符号化単位のために予測されたQP予測値を利用し、符号化単位のルマ成分のためのQPを決定することができる。
【0219】
一実施形態により、ピクチャヘッダQP差分値情報が、現在ピクチャのピクチャヘッダに、QP差分値情報が存在しないことを示す場合、獲得部1810は、スライスヘッダから、現在スライスのルマ成分のための第2 QP差分値を獲得することができる。復号部1820は、QP初期値と、ルマ成分のための第2 QP差分値とを加えることにより、現在スライスのルマ成分のためのQPを決定することができる。復号部1820は、現在スライスのルマ成分のためのQPを利用し、現在スライスに含まれた符号化単位のQPを決定することができる。復号部1820は、符号化単位のためのQPを利用し、符号化単位に含まれた変換係数について逆量子化を行うことができる。逆量子化された変換係数について逆変換を行い、符号化単位のレジデュアルサンプルが復号されうる。ピクチャヘッダQP差分値情報が、現在ピクチャのピクチャヘッダに、QP差分値情報が存在しないことを示す場合、獲得部1810は、現在スライスに含まれた符号化単位のためのQP差分値を、ビットストリームから獲得することができる。復号部1820は、符号化単位のためのQP差分値を利用し、現在スライスに含まれた現在符号化単位のルマ成分のためのQPを決定することができる。
【0220】
ピクチャヘッダQP差分値情報が、現在ピクチャのピクチャヘッダに、QP差分値情報が存在しないことを示す場合、獲得部1810は、スライスヘッダから、現在スライスのCbクロマ成分のためのCb QP差分値、及び現在スライスのCrクロマ成分のためのCr QP差分値を獲得することができる。復号部1820は、現在スライスに含まれた現在符号化単位のCbクロマ成分のためのQPを、現在スライスのCbクロマ成分のためのCb QP差分値を利用して更新することにより、現在符号化単位のCbクロマ成分のためのCb QPを決定することができる。復号部1820は、現在スライスに含まれた現在符号化単位のCrクロマ成分のためのQPを、現在スライスのCrクロマ成分のためのCr QP差分値を利用して更新することにより、現在符号化単位のCrクロマ成分のためのCr QPを決定することができる。
【0221】
図19は、一実施形態によるビデオ符号化装置のブロック図を図示する。
【0222】
図19を参照すれば、一実施形態によるビデオ符号化装置1900は、量子化部1910及び情報符号化部1920を含むものでもある。
【0223】
一実施形態によるビデオ符号化装置1900は、量子化部1910及び情報符号化部1920を制御する中央プロセッサ(図示せず)を含むものでもある。または、量子化部1910及び情報符号化部1920が、それぞれの自体プロセッサ(図示せず)によって作動し、プロセッサ(図示せず)が相互有機的に作動することにより、ビデオ符号化装置1900が全体的に作動することもできる。または、ビデオ符号化装置1900の外部プロセッサ(図示せず)の制御により、量子化部1910及び情報符号化部1920が制御されうる。
【0224】
ビデオ符号化装置1900は、量子化部1910及び情報符号化部1920の入出力データが保存される1以上のデータ保存部(図示せず)を含むものでもある。ビデオ符号化装置1900は、データ保存部(図示せず)のデータ入出力を制御するメモリ制御部(図示せず)を含むものでもある。
【0225】
ビデオ符号化装置1900は、映像符号化のために、内部に搭載されたビデオエンコードプロセッサ、または外部のビデオエンコーディングプロセッサと連繋して作動することにより、予測を含む映像符号化動作を遂行することができる。一実施形態によるビデオ符号化装置1900の内部ビデオエンコーディングプロセッサは、別個のプロセッサだけではなく、中央演算装置またはグラフィック演算装置が、映像エンコーディングプロセッシングモジュールを含むことにより、基本的な映像符号化動作を具現することもできる。
【0226】
ビデオ符号化装置1900は、図16を参照して説明した映像符号化及び復号システムの符号化器1600に対応しうる。例えば、情報符号化部1920は、符号化器1600のエントロピー符号化部1630に対応しうる。量子化部1910は、符号化器1600の量子化部1625に対応しうる。
【0227】
一実施形態によるビデオ符号化装置1900は、ピクチャを、複数個の最大符号化単位に分割し、各最大符号化単位を多様な大きさ、及び多様な形態のブロックに分割し、符号化することができる。
【0228】
例えば、現在ブロックの予測モードがイントラモードである場合、ビデオ符号化装置1900は、現在ブロックの現在ブロックのイントラ予測方向に位置した空間的隣接ブロックのサンプルのうち参照サンプルを決定し、参照サンプルを利用し、現在ブロックの予測サンプルを決定することができる。予測サンプルと、現在ブロックのサンプルとの差であるレジデュアルサンプルを決定し、該レジデュアルサンプルにつき、変換ブロックを基に変換して変換係数を生成し、該変換係数について量子化を行い、量子化された変換係数を生成することができる。
【0229】
例えば、現在ブロックがスキップモードでもって予測される場合、ビデオ符号化装置1900は、現在ブロックを予測するための動きベクトルを決定することができる。ビデオ符号化装置1900は、参照ピクチャ内において、現在ブロックの参照ブロックを決定し、現在ブロックから、参照ブロックを示す動きベクトルを決定することができる。スキップモードである場合には、レジデュアルブロックの符号化が必要ない。
【0230】
例えば、現在ブロックの予測モードがインターモードである場合、ビデオ符号化装置1900は、現在ブロックを予測するための動きベクトルを決定することができる。ビデオ符号化装置1900は、参照ピクチャ内の現在ブロックの参照ブロックを決定し、現在ブロックから、参照ブロックを示す動きベクトルを決定することができる。ビデオ符号化装置1900は、参照ブロックに含まれた参照サンプルを利用し、現在ブロックの予測サンプルを決定し、予測サンプルと、現在ブロックのサンプルとの差であるレジデュアルサンプルを決定し、該レジデュアルサンプルにつき、変換ブロックを基に変換及び量子化を行うことにより、量子化された変換係数を生成することができる。
【0231】
現在ブロックは、映像から、ツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位に対応しうる。ビデオ符号化装置1900は、ピクチャに含まれたブロックを、符号化順序によって符号化することができる。
【0232】
一実施形態によるビデオ符号化装置1900は、量子化を行うために、QPを利用する。該QPは、符号化単位別に設定され、符号化単位に含まれた変換係数に、1つのQPが適用されうる。ピクチャは、1以上のスライスを含むものでもあり、1つのスライスは、1以上の符号化単位を含むものでもある。ビデオ符号化装置1900は、符号化単位別にQPを決定し、符号化単位別、スライス別またはピクチャ別にQPを決定するために必要な情報をシグナリングするために、符号化することができる。
【0233】
一実施形態による情報符号化部1920は、符号化単位別にQPを決定するために必要な情報を符号化し、符号化単位関連ビットストリームシンタックスの形態に出力することができる。情報符号化部1920は、スライス別にQPを決定するために必要な情報を符号化し、スライスヘッダシンタックスの形態に出力することができる。情報符号化部1920は、ピクチャ別にQPを決定するために必要な情報を符号化し、ピクチャヘッダシンタックスの形態に出力することができる。
【0234】
まず、ビデオ符号化装置1900が、ピクチャ別にQP差分値を伝送するか、あるいはスライス別にQP差分値を伝送するかということを、ピクチャパラメータセットレベルで決定することができる。
【0235】
一実施形態による量子化部1910は、現在ピクチャに適用されるQP初期値を決定することができる。
【0236】
ピクチャ別にQP差分値を決定する場合、情報符号化部1920は、現在ピクチャで使用されたQPとQP初期値との第1 QP差分値を決定することができる。情報符号化部1920は、第1 QP差分値を含む現在ピクチャに係わるピクチャヘッダを生成することができる。
【0237】
スライス別にQP差分値を決定する場合、情報符号化部1920は、現在ピクチャに含まれた現在スライスで使用されたQPとQP初期値との第2 QP差分値を決定することができる。情報符号化部1920は、第2 QP差分値を含む、現在スライスに係わるスライスヘッダを生成することができる。
【0238】
一実施形態による情報符号化部1920は、現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報、及びQP初期値を含むピクチャパラメータセットを生成することができる。
【0239】
以下、図20を参照し、ビデオ符号化装置1900が、ピクチャ別またはスライス別にQP差分値情報をシグナリングする過程について詳述する。
【0240】
図20は、一実施形態によるビデオ符号化方法のフローチャートを図示する。
【0241】
段階2010において、量子化部1910は、現在ピクチャに適用されるQP初期値を決定することができる。
【0242】
段階2020において、ピクチャ別にQP差分値を決定する場合、情報符号化部1920は、現在ピクチャで使用されたQPとQP初期値との第1 QP差分値を決定し、第1 QP差分値を含む現在ピクチャに係わるピクチャヘッダを生成することができる。
【0243】
段階2030において、情報符号化部1920は、現在ピクチャのピクチャヘッダに、QP差分値情報が存在するか否かということを示すピクチャヘッダQP差分値情報、及びQP初期値を含むピクチャパラメータセットを生成することができる。
【0244】
一実施形態により、スライス別にQP差分値を決定する場合、情報符号化部1920は、現在ピクチャに含まれた現在スライスで使用されたQPとQP初期値との第2 QP差分値を決定し、第2 QP差分値を含む現在スライスに係わるスライスヘッダを生成することができる。
【0245】
段階2020において、量子化部1910は、ピクチャ別にQP差分値を決定する場合、現在ピクチャに含まれるスライスのルマ成分のためのQPを決定することができる。情報符号化部1920は、現在ピクチャに含まれるスライスのルマ成分のためのQPと、QP初期値との差値を利用し、現在ピクチャのルマ成分のための第1 QP差分値を決定することができる。情報符号化部1920は、符号化単位のルマ成分のためのQPと、スライスのルマ成分のためのQPとの差値を利用し、符号化単位のためのQP差分値を決定することができる。情報符号化部1920は、符号化単位のためのQP差分値を符号化することができる。
【0246】
段階2030において、量子化部1910は、スライス別にQP差分値を決定する場合、現在スライスのルマ成分のためのQPを決定することができる。情報符号化部1920は、現在スライスのルマ成分のためのQPと、QP初期値との差値を利用し、現在スライスのルマ成分のための第2 QP差分値を決定することができる。情報符号化部1920は、符号化単位のルマ成分のためのQPから、現在スライスのルマ成分のためのQPを差し引くことにより、符号化単位のためのQP差分値を決定することができる。情報符号化部1920は、符号化単位のためのQP差分値を符号化することができる。
【0247】
他の実施形態による量子化部1910は、符号化単位のために予測されたQP予測値を利用し、符号化単位のルマ成分のためのQPを決定し、QPを利用し、符号化単位につき、量子化を行うこともできる。その場合、情報符号化部1920は、符号化単位のためのQP差分値を符号化しないのである。
【0248】
段階2030において、スライス別にQP差分値を符号化する場合、情報符号化部1920は、現在スライスに含まれた符号化単位のCbクロマ成分のQPを決定するための、現在スライスのCbクロマ成分のためのCb QP差分値を決定することができる。また、情報符号化部1920は、現在スライスに含まれた符号化単位のCrクロマ成分のQPを決定するための、現在スライスのCrクロマ成分のためのCr QP差分値を決定することができる。情報符号化部1920は、現在スライスのCb QP差分値、及びCrクロマ成分のためのCr QP差分値を符号化し、Cb QP差分値とCr QP差分値とを含む現在スルライのためのスライスヘッダを生成することができる。
【0249】
量子化部1910は、QPを利用し、符号化単位の変換係数について量子化を行い、符号化単位の量子化された変換係数を生成することができる。情報符号化部1920は、量子化された変換係数に係わる情報についてエントロピー符号化を行い、ビットストリームを生成することができる。
【0250】
一実施形態によるビデオ復号装置1700、及び一実施形態によるビデオ符号化装置1900は、QP差分値をピクチャ別またはスライス別に、選択的にシグナリングすることができる。従って、一実施形態によるビデオ符号化装置1900は、ピクチャ別にQP差分値をシグナリングするか、あるいはスライス別にQP差分値をシグナリングするかということを、データピクチャの特性またはデータ伝送効率によって決定し、伝送効率が高い方法により、QP差分値をシグナリングすることができる。一実施形態によるビデオ復号装置1700は、ピクチャパラメータセットから獲得された情報に基づき、ピクチャ別にQP差分値を獲得するか、あるいはスライス別にQP差分値を獲得するかということを決定し、ピクチャ別にQP、またはスライス別にQPを決定することができる。従って、ピクチャ別にQP差分値がシグナリングされる場合には、ピクチャに含まれたスライス別にQP差分値がシグナリングされる必要がないので、QPをシグナリングするためのデータが節減されうる。
【0251】
図21は、一実施形態により、ピクチャレベルまたはスライスレベルでQPを誘導するための概要図を図示する。
【0252】
従来のビデオコーデックの場合、一般的に、QP QPの初期値がピクチャパラメータセット(PPS:picture parameter set)で設定され、スライスヘッダを介し、各スライスのQP初期値の差分値が伝送され、スライスごとにQPが設定された。
【0253】
それに対し、一実施形態によるビデオ復号装置1700においては、1つのピクチャごとに、ピクチャヘッダを獲得することができ、ピクチャヘッダから、QPに係わる情報をシグナリングすることができる。本発明においては、ビデオ復号装置1700とビデオ符号化装置1900との間に、ピクチャ別にQP差分値をシグナリングするか、スライス別にQP差分値をシグナリングするかということを選択するので、QPのシグナリング構造が単純にもなる。
【0254】
まず、段階2100において、ビデオ復号装置1700は、ピクチャヘッダより上位レベルであるピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS:sequence parameter set)から、QPの初期値を獲得することができる。また、段階2110において、ビデオ復号装置1700は、ピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS)から、ピクチャヘッダQP差分値(dQP)情報を獲得することができる。ビデオ復号装置1700は、ピクチャヘッダQP差分値情報により、ピクチャレベルでQPを決定するか、あるいはスライスレベルでQPを決定するかということを決定することができる。
【0255】
具体的には、ピクチャヘッダQP差分値情報が0ではない場合(例えば、ピクチャヘッダQP差分値情報が1である場合)、すなわち、ピクチャヘッダに、QP差分値(デルタ値)が存在する場合、段階2120において、ビデオ復号装置1700は、ピクチャヘッダから、QP差分値を獲得することができる。ビデオ復号装置1700は、ピクチャヘッダから獲得されたQP差分値と、ピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS)から獲得したQP初期値と、を利用し、ピクチャごとにQPを決定することができる。
【0256】
ピクチャヘッダQP差分値情報が0である場合、すなわち、ピクチャヘッダに、QP差分値が存在しない場合、段階2130において、ビデオ復号装置1700は、スライスヘッダからQP差分値を獲得することができる。ビデオ復号装置1700は、スライスヘッダから獲得されたQP差分値と、ピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS)から獲得したQP初期値と、を利用し、スライスごとにQPを決定することができる。
【0257】
ビデオ復号装置1700の段階2100ないし段階2130の動作のために、ビデオ符号化装置1900は、ピクチャレベルまたはスライスレベルでQPを決定するかということを決定することができる。また、ビデオ符号化装置1900は、ピクチャレベルでQPを決定するか、あるいはスライスレベルでQPを決定するかということを示すピクチャヘッダQP差分値情報を符号化することができる。
【0258】
具体的には、ビデオ符号化装置1900が、ピクチャごとにQPを決定する場合に、ピクチャごとに、QP差分値を符号化することができる。従って、ビデオ符号化装置1900は、現在ピクチャのQP差分値を含む現在ピクチャのピクチャヘッダを生成することができる。その場合、現在ピクチャのピクチャヘッダに、QP差分値が存在することを示すように、ピクチャヘッダQP差分値情報が1を示すように符号化することができる。
【0259】
ビデオ符号化装置1900がスライスごとにQPを決定する場合、スライスごとにQP差分値を符号化することができる。従って、ビデオ符号化装置1900は、現在スライスのQP差分値を含む現在スライスのスライスヘッダを生成することができる。その場合、ピクチャヘッダに、QP差分値が存在しないことを示すように、ピクチャヘッダQP差分値情報が0を示すように符号化することができる。
【0260】
一実施形態によるビデオ符号化装置1900は、QPの初期値と、ピクチャヘッダQP差分値情報とを含むピクチャパラメータセット(PPS)またはシーケンスパラメータセット(SPS)を生成することができる。
【0261】
前述のように、ピクチャレベルにおいて、現在ピクチャに含まれた符号化単位につき、同一QPを設定する場合には、QPを、ピクチャヘッダでのみシグナリングされるようにすることができるので、QPをシグナリングするためのビット量を減らすことができる。すなわち、現在ピクチャに含まれたスライスごとに、当該スライスヘッダを介し、QPをシグナリングする必要なく、現在ピクチャのピクチャヘッダでのみ、QP差分値が1回シグナリングされうる。もし現在ピクチャに含まれたスライスの特性が異なるのであるならば、さらに細部的にQPを設定するために、スライス別にQPを別途に設定し、各スライスに、スライスヘッダごとにQP差分値がシグナリングされるようにすることもできる。
【0262】
以下、図22ないし図24を参照し、ピクチャヘッダQP差分値情報をシグナリングするためのシンタックス構造について詳述する。
【0263】
図22は、一実施形態による、ピクチャヘッダQP差分値情報が含まれたピクチャパラメータセットを図示する。
【0264】
ビデオ符号化装置1900は、ピクチャパラメータセットシンタックス2200に、シンタックスエレメントpps_init_qp_minus26 2210及びpps_qp_delta_info_in_ph_flag 2220を含めることができる。シンタックスエレメントpps_qp_delta_info_in_ph_flag 2220は、現在ピクチャのピクチャヘッダに、現在ピクチャのためのQP差分値が存在するか否かということを示しうる。
【0265】
ビデオ復号装置1700は、ピクチャパラメータセットシンタックス2200から、シンタックスエレメントpps_init_qp_minus26 2210及びpps_qp_delta_info_in_ph_flag 2220をパージングすることができる。ビデオ復号装置1700は、シンタックスエレメントpps_init_qp_minus26 2210から、現在ピクチャまたは現在ピクチャに含まれたスライスに適用可能なQPの初期値を獲得することができる。ビデオ復号装置1700は、シンタックスエレメントpps_qp_delta_info_in_ph_flag 2220から、現在ピクチャのピクチャヘッダに、現在ピクチャのためのQP差分値が存在するか否かということを確認することができる。
【0266】
シンタックスエレメントpps_init_qp_minus26 2210は、現在ピクチャまたは現在ピクチャに含まれたスライスに適用可能なQP SliceQpYの初期値を示しうる。ピクチャヘッダにおいて、ピクチャのQP差分値ph_qp_deltaが0ではない値に復号されれば、ピクチャレベルにおいて、SliceQpYの初期値が、QP差分値を利用しても調整される。スライスヘッダにおいて、スライスのQP差分値sh_qp_deltaが0ではない値に復号されれば、スライスレベルにおいて、SliceQpYの初期値がQP差分値を利用しても調整される。pps_init_qp_minus26 2210の値は、-(26+QpBdOffset)において、+37までの範囲内の値でもある。QpBdOffsetは、ビットデプスによって決定されうる。SliceQpYは、ph_qp_deltaまたはsh_qp_deltaが復号されるか否かということにより、下記の数式によって決定されうる。
【0267】
SliceQpY = 26 + pps_init_qp_minus26 + ph_qp_delta
SliceQpY = 26 + pps_init_qp_minus26 + sh_qp_delta
従って、スライスのルマ成分のQP SliceQpYは、-QpBdOffsetにおいて、+63までの範囲で決定されうる。
【0268】
図23は、一実施形態による、現在ピクチャのQP差分値が含まれたピクチャヘッダを図示する。
【0269】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス2300に、シンタックスエレメントph_qp_delta 2320を含めることができる。シンタックスエレメントph_qp_delta 2320は、現在ピクチャに適用可能なQP差分値を示しうる。具体的には、先のピクチャパラメータセットシンタックス2200に含まれたpps_qp_delta_info_in_ph_flag 2220が1を示す場合(2310)、ピクチャヘッダシンタックス2300に、シンタックスエレメントph_qp_delta 2320を含めることができる。
【0270】
ビデオ復号装置1700は、ピクチャヘッダシンタックス2300から、シンタックスエレメントph_qp_delta 2320を獲得することができる。具体的には、先のピクチャパラメータセットシンタックス2200から獲得したpps_qp_delta_info_in_ph_flag 2220が1を示す場合(2310)、ピクチャヘッダシンタックス2300から、シンタックスエレメントph_qp_delta 2320を獲得することができる。その場合、ピクチャヘッダシンタックス2300に対応する現在ピクチャのために、シンタックスエレメントpps_init_qp_minus26 2210とph_qp_delta 2320とを加えることにより、ピクチャのQPを決定することができる。現在ピクチャに含まれた全ての符号化単位につき、ピクチャのQPを適用することができる。各符号化単位に対応するシンタックス構造から、符号化単位のQP差分値が獲得される場合には、符号化単位のQP差分値と、ピクチャのQPとを加えることにより、符号化単位のQPが決定されうる。ビデオ復号装置1700は、符号化単位ごとに決定されたQPを利用し、符号化単位の変換サンプルについて逆量子化を行うことができる。
【0271】
図24は、一実施形態による、現在スライスのQP差分値が含まれたスライスヘッダを図示する。
【0272】
ビデオ符号化装置1900は、スライスヘッダシンタックス2400に、シンタックスエレメントsh_qp_delta 2420を含めることができる。シンタックスエレメントsh_qp_delta 2420は、現在スライスに適用可能なルマ成分のQP差分値を示しうる。具体的には、先のピクチャパラメータセットシンタックス2200に含まれたpps_qp_delta_info_in_ph_flag 2220が0を示す場合(2410)、スライスヘッダシンタックス2400に、シンタックスエレメントsh_qp_delta 2420を含めることができる。また、ビデオ符号化装置1900は、シンタックスエレメントsh_cb_qp_offset及びsh_cr_qp_offset 2430を、スライスヘッダシンタックス2400に含めることができる。シンタックスエレメントsh_cb_qp_offset及びsh_cr_qp_offset 2430は、それぞれクロマCb成分のQP差分値、及びクロマCr成分のQP差分値を示す。
【0273】
ビデオ復号装置1700は、スライスヘッダシンタックス2400から、シンタックスエレメントsh_qp_delta 2420を獲得することができる。具体的には、先のピクチャパラメータセットシンタックス2200から獲得したpps_qp_delta_info_in_ph_flag 2220が0を示す場合(2410)、スライスヘッダシンタックス2400から、シンタックスエレメントsh_qp_delta 2420を獲得することができる。その場合、スライスヘッダシンタックス2400に対応する現在スライスのために、シンタックスエレメントpps_init_qp_minus26 2210とsh_qp_delta 2420とを加えることにより、スライスのルマ成分のQPを決定することができる。現在スライスに含まれた全ての符号化単位につき、スライスのルマ成分のQPを適用することができる。各符号化単位に対応するシンタックス構造から、符号化単位のルマ成分のQP差分値が獲得される場合には、符号化単位のルマ成分のQP差分値と、スライスのルマ成分のQPとを加えることにより、符号化単位のルマ成分のQPが決定されうる。
【0274】
また、ビデオ復号装置1700は、シンタックスエレメントsh_cb_qp_offset及びsh_cr_qp_offset 2430を、スライスヘッダシンタックス2400からパージングすることができる。シンタックスエレメントsh_cb_qp_offset及びsh_cr_qp_offset 2430から、それぞれクロマCb成分のQP差分値、及びクロマCr成分のQP差分値を獲得することができる。従って、ビデオ復号装置1700は、クロマCb成分のQP差分値を利用し、現在スライスに含まれた符号化単位のクロマCb成分のためのQPを決定し、クロマCr成分のQP差分値を利用し、現在スライスに含まれた符号化単位のクロマCr成分のためのQPを決定することができる。ビデオ復号装置1700は、符号化単位ごとに決定されたQPを利用し、符号化単位の変換サンプルについて逆量子化を行うことができる。
【0275】
sh_cb_qp_offset及びsh_cr_qp_offset 2430は、それぞれ-12から12までの範囲の値でもある。
【0276】
スライスにおけるCb成分のQPのオフセットは、pps_cb_qp_offset+sh_cb_qp_offsetと決定され、pps_cb_qp_offset+sh_cb_qp_offsetの値は、-12から+12までの範囲内に決定されうる。類似して、スライスにおけるCr成分のQPのオフセットは、pps_cr_qp_offset+sh_cr_qp_offsetと決定され、pps_cr_qp_offset+sh_cr_qp_offsetの値は、-12から+12までの範囲内に決定されうる。
【0277】
それ以外に、符号化単位レベルにおいて、QP差分値(delta QP)をシグナリングする場合には、タイル開始、スライス開始、ピクチャヘッダまたはスライスヘッダと決定されたQPが、QPの初期値としても使用される。例えば、ピクチャヘッダにおいてQPが決定され、ピクチャ内のスライスまたはタイルが存在する場合、当該のスライスまたはタイルの開始において、ピクチャヘッダにおいて決定されたQPが初期値に利用されうる。従って、符号化単位レベルでシグナリングされた符号化単位のQP差分値と、タイル開始またはスライス開始で決定されたQPの初期値とを加え、当該符号化単位のQPが決定されうる。
【0278】
他の例として、POC(picture order counter)をシグナリングするにおいて、スライスヘッダではないピクチャヘッダにだけPOC情報を含めることができる。そのような場合、特定スライスが、どのピクチャに属するということを確認し難くもなる。しかしながら、システムレベルでシグナリングするタイムスタンプやシーケンスナンバーなどを使用し、スライスが属したピクチャのインデックスを確認するようにすることができる。また、特定のスライスやピクチャヘッダの情報が損失されたことを、コーデックの外部システムから通知されて判断することもできる。
【0279】
一実施形態によるビデオ符号化方法及びビデオ復号方法により、ピクチャの特性またはデータ伝送効率により、QPの差分値を伝送する方式を決定し、その方式により、QPの差分値をシグナリングすることができる。
【0280】
以下、図25ないし図32を参照し、多様なツールで利用可能なパラメータを、ピクチャレベルまたはスライスレベルで選択的にシグナリングするためのシンタックス構造について詳述する。ピクチャシーケンスセットでシグナリングされたフラグを介し、ツール関連パラメータがピクチャヘッダでシグナリングされるか、あるいはスライスヘッダでシグナリングされるかということが決定されうる。
【0281】
図25は、一実施形態による、ピクチャヘッダにデブロッキングフィルタ関連パラメータが含まれているか否かということを示す情報が含まれたピクチャパラメータセットを図示する。
【0282】
ビデオ符号化装置1900は、ピクチャパラメータセットシンタックス2500に、pps_dbf_info_in_ph_flag 2510を含めることができる。シンタックスエレメントpps_dbf_info_in_ph_flag 2510は、現在ピクチャのピクチャヘッダに、現在ピクチャのためのデブロッキングフィルタリング関連パラメータ差分値が存在するか否かということを示しうる。
【0283】
ビデオ復号装置1700は、ピクチャパラメータセットシンタックス2500から、pps_dbf_info_in_ph_flag 2510をパージングすることができる。ビデオ復号装置1700は、シンタックスエレメントpps_dbf_info_in_ph_flag 2510から、現在ピクチャヘッダに、現在ピクチャのためのデブロッキングフィルタリング関連パラメータが存在するか否かということを確認することができる。
【0284】
図26は、一実施形態による、現在ピクチャのデブロッキングフィルタ関連パラメータが含まれたピクチャヘッダを図示する。
【0285】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス2600に、シンタックスエレメントph_luma_beta_offset_div2,ph_luma_tc_offset_div2,ph_cb_beta_offset_div2,ph_cb_tc_offset_div2,ph_cr_beta_offset_div2,ph_cr_tc_offset_div2 2620を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2500に含まれたpps_dbf_info_in_ph_flag 2510が1を示す場合(2610)、ピクチャヘッダシンタックス2600に、シンタックスエレメントph_luma_beta_offset_div2,ph_luma_tc_offset_div2,ph_cb_beta_offset_div2,ph_cb_tc_offset_div2,ph_cr_beta_offset_div2,ph_cr_tc_offset_div2 2620を含めることができる。
【0286】
ビデオ復号装置1700は、ピクチャヘッダシンタックス2600から、シンタックスエレメントph_luma_beta_offset_div2,ph_luma_tc_offset_div2,ph_cb_beta_offset_div2,ph_cb_tc_offset_div2,ph_cr_beta_offset_div2,ph_cr_tc_offset_div2 2620を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2500に含まれたpps_dbf_info_in_ph_flag 2510が1を示す場合(2610)、ピクチャヘッダシンタックス2600から、シンタックスエレメントph_luma_beta_offset_div2,ph_luma_tc_offset_div2,ph_cb_beta_offset_div2,ph_cb_tc_offset_div2,ph_cr_beta_offset_div2,ph_cr_tc_offset_div2 2620を獲得することができる。
【0287】
シンタックスエレメントph_luma_beta_offset_div2は、現在ピクチャ内のスライスのルマ成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントph_luma_tC_offset_div2は、現在ピクチャ内のスライスのルマ成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。シンタックスエレメントph_cb_beta_offset_div2は、現在ピクチャ内のスライスのCb成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントph_cb_tC_offset_div2は、現在ピクチャ内のスライスのCb成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。シンタックスエレメントph_cr_beta_offset_div2は、現在ピクチャ内のスライスのCr成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントph_cr_tC_offset_div2は、現在ピクチャ内のスライスのCr成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。ビデオ復号装置1700は、ピクチャヘッダから獲得された前記デブロッキングフィルタリング関連パラメータを利用し、現在ピクチャに含まれた符号化単位の境界についてデブロッキングフィルタリングを行うことができる。
【0288】
図27は、一実施形態による、現在スライスのデブロッキングフィルタ関連パラメータが含まれたスライスヘッダを図示する。
【0289】
ビデオ符号化装置1900は、スライスヘッダシンタックス2700に、シンタックスエレメントsh_luma_beta_offset_div2,sh_luma_tc_offset_div2,sh_cb_beta_offset_div2,sh_cb_tc_offset_div2,sh_cr_beta_offset_div2,sh_cr_tc_offset_div2 2720を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2500に含まれたpps_dbf_info_in_ph_flag 2510が0を示す場合(2710)、スライスヘッダシンタックス2700に、シンタックスエレメントsh_luma_beta_offset_div2,sh_luma_tc_offset_div2,sh_cb_beta_offset_div2,sh_cb_tc_offset_div2,sh_cr_beta_offset_div2,sh_cr_tc_offset_div2 2720を含めることができる。
【0290】
ビデオ復号装置1700は、スライスヘッダシンタックス2700から、シンタックスエレメントsh_luma_beta_offset_div2,sh_luma_tc_offset_div2,sh_cb_beta_offset_div2,sh_cb_tc_offset_div2,sh_cr_beta_offset_div2,sh_cr_tc_offset_div2 2720を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2500に含まれたpps_dbf_info_in_ph_flag 2510が0を示す場合(2710)、スライスヘッダシンタックス2700から、シンタックスエレメントsh_luma_beta_offset_div2,sh_luma_tc_offset_div2,sh_cb_beta_offset_div2,sh_cb_tc_offset_div2,sh_cr_beta_offset_div2,sh_cr_tc_offset_div2 2720を獲得することができる。
【0291】
シンタックスエレメントsh_luma_beta_offset_div2は、現在スライスのルマ成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントsh_luma_tC_offset_div2は、現在スライスのルマ成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。シンタックスエレメントsh_cb_beta_offset_div2は、現在スライスのCb成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントsh_cb_tC_offset_div2は、現在スライスのCb成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。シンタックスエレメントsh_cr_beta_offset_div2は、現在スライスのCr成分について適用されるデブロッキングパラメータβのためのオフセットを示しうる。シンタックスエレメントsh_cr_tC_offset_div2は、現在スライスのCr成分について適用されるデブロッキングパラメータtCのためのオフセットを示しうる。ビデオ復号装置1700は、スライスヘッダから獲得された前記デブロッキングフィルタリング関連パラメータを利用し、現在スライスに含まれた符号化単位の境界についてデブロッキングフィルタリングを行うことができる。
【0292】
図28は、一実施形態による、ピクチャヘッダに、各種ツール関連パラメータが含まれているか否かということを示す情報が含まれたピクチャパラメータセットを図示する。
【0293】
ビデオ符号化装置1900は、ピクチャパラメータセットシンタックス2800に、pps_rpl_info_in_ph_flag 2810、pps_sao_info_in_ph_flag 2820、pps_alf_info_in_ph_flag 2830、pps_wp_info_in_ph_flag 2840を含めることができる。シンタックスエレメントpps_rpl_info_in_ph_flag 2810は、現在ピクチャのピクチャヘッダに、現在ピクチャのための参照ピクチャリスト関連パラメータが存在するか否かということを示しうる。シンタックスエレメントpps_sao_info_in_ph_flag 2820は、現在ピクチャのピクチャヘッダに現在ピクチャのためのSAO(sample adaptive offset)関連パラメータが存在するか否かということを示しうる。シンタックスエレメントpps_alf_info_in_ph_flag 2830は、現在ピクチャのピクチャヘッダに、現在ピクチャのためのALF(adaptive loop filtering)関連パラメータが存在するか否かということを示しうる。シンタックスエレメントpps_wp_info_in_ph_flag 2840は、現在ピクチャのピクチャヘッダに、現在ピクチャのための加重値予測(weighted prediction)関連パラメータが存在するか否かということを示しうる。
【0294】
ビデオ復号装置1700は、ピクチャパラメータセットシンタックス2800から、pps_rpl_info_in_ph_flag 2810,pps_sao_info_in_ph_flag 2820,pps_alf_info_in_ph_flag 2830,pps_wp_info_in_ph_flag 2840をパージングすることができる。ビデオ復号装置1700は、シンタックスエレメントpps_rpl_info_in_ph_flag 2810から、現在ピクチャのピクチャヘッダに、現在ピクチャのための参照ピクチャリスト関連パラメータが存在するか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントpps_sao_info_in_ph_flag 2820から、現在ピクチャのピクチャヘッダに、現在ピクチャのためのSAO関連パラメータが存在するか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントpps_alf_info_in_ph_flag 2830から、現在ピクチャのピクチャヘッダに、現在ピクチャのためのALF関連パラメータが存在するか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントpps_wp_info_in_ph_flag 2840から、現在ピクチャのピクチャヘッダに、現在ピクチャのための加重値予測関連パラメータが存在するか否かということを確認することができる。
【0295】
図29は、一実施形態による、現在ピクチャの加重値予測関連パラメータ、SAO関連パラメータ及び参照ピクチャリスト関連パラメータが含まれたピクチャヘッダを図示する。
【0296】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス2900に、加重値予測シンタックスpred_weight_table()2920を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_wp_info_in_ph_flag 2840が1を示す場合(2910)、ピクチャヘッダシンタックス2900に、加重値予測シンタックスpred_weight_table()2920を含めることができる。
【0297】
ビデオ復号装置1700は、ピクチャヘッダシンタックス2900から、加重値予測シンタックスpred_weight_table()2920を呼び出すことができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_wp_info_in_ph_flag 2840が1を示す場合(2910)、ピクチャヘッダシンタックス2900から、加重値予測シンタックスpred_weight_table()2920を呼び出すことができる。
【0298】
ビデオ復号装置1700は、加重値予測シンタックスpred_weight_table()2920から、加重値予測を行うために必要なルマ成分の加重値、及びクロマ成分の加重値を決定するためのパラメータを獲得することができる。ビデオ復号装置1700は、現在ピクチャに含まれたブロックにつき、ルマ成分の加重値、及びクロマ成分の加重値を利用して加重値予測を行うことができる。
【0299】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス2900に、シンタックスエレメントph_sao_luma_enabled_flag及びph_sao_chroma_enabled_flag 2940を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_sao_info_in_ph_flag 2820が1を示す場合(2930)、ピクチャヘッダシンタックス2900に、シンタックスエレメントph_sao_luma_enabled_flag及びph_sao_chroma_enabled_flag 2940を含めることができる。
【0300】
ビデオ復号装置1700は、ピクチャヘッダシンタックス2900から、シンタックスエレメントph_sao_luma_enabled_flag及びph_sao_chroma_enabled_flag 2940を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_sao_info_in_ph_flag 2820が1を示す場合(2930)、ピクチャヘッダシンタックス2900から、シンタックスエレメントph_sao_luma_enabled_flag及びph_sao_chroma_enabled_flag 2940を獲得することができる。
【0301】
ビデオ復号装置1700は、シンタックスエレメントph_sao_luma_enabled_flagから、現在ピクチャのルマ成分のためにSAOが遂行されるか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントph_sao_chroma_enabled_flagから、現在ピクチャのクロマ成分のためにSAOが遂行されるか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントph_sao_luma_enabled_flag及びph_sao_chroma_enabled_flag 2940に基づき、現在ピクチャに含まれた最大符号化単位のルマ成分及びクロマ成分につき、それぞれSAOを遂行することができる。
【0302】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス2900に、参照ピクチャリストシンタックスref_pic_lists()(2960)を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_rpl_info_in_ph_flag 2810が1を示す場合(2950)、ピクチャヘッダシンタックス2900に、参照ピクチャリストシンタックスref_pic_lists()(2960)を含めることができる。
【0303】
ビデオ復号装置1700は、ピクチャヘッダシンタックス2900から、参照ピクチャリストシンタックスref_pic_lists()2960を呼び出すことができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_rpl_info_in_ph_flag 2810が1を示す場合(2950)、ピクチャヘッダシンタックス2900から、参照ピクチャリストシンタックスref_pic_lists()2960を呼び出すことができる。
【0304】
ビデオ復号装置1700は、参照ピクチャリストシンタックスref_pic_lists()2960から、現在ピクチャのブロックにおいて、参照ピクチャリストを決定するためのパラメータを獲得することができる。ビデオ復号装置1700は、参照ピクチャリストシンタックスref_pic_lists()2960から獲得されたパラメータを利用し、現在ピクチャに含まれたブロックのための参照ピクチャリストを決定し、ブロックごとに、参照ピクチャリストを利用したインター予測を行うことができる。
【0305】
図30は、一実施形態による、現在ピクチャのALF関連パラメータが含まれたピクチャヘッダを図示する。
【0306】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス3000に、シンタックスエレメントph_num_alf_aps_ids_luma,ph_alf_aps_id_luma[i],ph_alf_cb_enabled_flag,ph_alf_cr_enabled_flag,ph_alf_aps_id_chroma,ph_alf_cc_cb_enabled_flag,ph_alf_cc_cb_aps_id,ph_alf_cc_cr_enabled_flag,ph_alf_cc_cr_aps_id 3020を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_alf_info_in_ph_flag 2830が1を示す場合(3010)、ピクチャヘッダシンタックス3000に、シンタックスエレメントph_num_alf_aps_ids_luma,ph_alf_aps_id_luma[i],ph_alf_cb_enabled_flag,ph_alf_cr_enabled_flag,ph_alf_aps_id_chroma,ph_alf_cc_cb_enabled_flag,ph_alf_cc_cb_aps_id,ph_alf_cc_cr_enabled_flag,ph_alf_cc_cr_aps_id 3020を含めることができる。
【0307】
ビデオ符号化装置1900は、ピクチャヘッダシンタックス3000から、シンタックスエレメントph_num_alf_aps_ids_luma,ph_alf_aps_id_luma[i],ph_alf_cb_enabled_flag,ph_alf_cr_enabled_flag,ph_alf_aps_id_chroma,ph_alf_cc_cb_enabled_flag,ph_alf_cc_cb_aps_id,ph_alf_cc_cr_enabled_flag,ph_alf_cc_cr_aps_id 3020を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_alf_info_in_ph_flag 2830が1を示す場合(3010)、ピクチャヘッダシンタックス3000から、シンタックスエレメントph_num_alf_aps_ids_luma,ph_alf_aps_id_luma[i],ph_alf_cb_enabled_flag,ph_alf_cr_enabled_flag,ph_alf_aps_id_chroma,ph_alf_cc_cb_enabled_flag,ph_alf_cc_cb_aps_id,ph_alf_cc_cr_enabled_flag,ph_alf_cc_cr_aps_id 3020を獲得することができる。
【0308】
シンタックスエレメントph_num_alf_aps_ids_lumaは、現在ピクチャに含まれたスライスが参照するALF APSの個数を示す。シンタックスエレメントph_alf_aps_id_luma[i]は、現在ピクチャに含まれたスライスのルマ成分が参照するi番目ALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントph_alf_cb_enabled_flagは、現在ピクチャのCb成分につき、ALFが許容されるか否かということを示す。シンタックスエレメントph_alf_cr_enabled_flagは、現在ピクチャのCr成分につき、ALFが許容されるか否かということを示す。シンタックスエレメントph_alf_aps_id_chromaは、現在ピクチャに含まれたスライスのクロマ成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントph_alf_cc_cb_enabled_flagは、現在ピクチャのCb成分につき、クロスコンポーネントALFが許容されるか否かということを示す。シンタックスエレメントph_alf_cc_cb_aps_idは、現在ピクチャに含まれたスライスのCb成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントph_alf_cc_cr_enabled_flagは、現在ピクチャのCr成分につき、クロスコンポーネントALFが許容されるか否かということを示す。シンタックスエレメントph_alf_cc_cr_aps_idは、現在ピクチャに含まれたスライスのCr成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。
【0309】
ビデオ復号装置1700は、前記獲得されたシンタックスエレメントph_num_alf_aps_ids_luma,ph_alf_aps_id_luma[i],ph_alf_cb_enabled_flag,ph_alf_cr_enabled_flag,ph_alf_aps_id_chroma,ph_alf_cc_cb_enabled_flag,ph_alf_cc_cb_aps_id,ph_alf_cc_cr_enabled_flag,ph_alf_cc_cr_aps_id 3020を利用し、現在ピクチャの最大符号化単位ごとに、ルマ成分及びクロマ成分につき、ALFを遂行することができる。
【0310】
図31は、一実施形態による、現在スライスの参照ピクチャリスト関連パラメータ、加重値予測関連パラメータ及びSAO関連パラメータが含まれたスライスヘッダを図示する。
【0311】
ビデオ符号化装置1900は、スライスヘッダシンタックス3100に、参照ピクチャリストシンタックスref_pic_lists()3120を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_rpl_info_in_ph_flag 2810が0を示す場合(3110)、スライスヘッダシンタックス3100に、参照ピクチャリストシンタックスref_pic_lists()3120を含めることができる。
【0312】
ビデオ復号装置1700は、スライスヘッダシンタックス3100から、参照ピクチャリストシンタックスref_pic_lists()3120を呼び出すことができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_rpl_info_in_ph_flag 2810が0を示す場合(3110)、スライスヘッダシンタックス3100から、参照ピクチャリストシンタックスref_pic_lists()3120を呼び出すことができる。
【0313】
ビデオ復号装置1700は、参照ピクチャリストシンタックスref_pic_lists()3120から、現在スライスのブロックから、参照ピクチャリストを決定するためのパラメータを獲得することができる。ビデオ復号装置1700は、参照ピクチャリストシンタックスref_pic_lists()3120から獲得されたパラメータを利用し、現在スライスに含まれたブロックのための参照ピクチャリストを決定し、ブロックごとに、参照ピクチャリストを利用したインター予測を行うことができる。
【0314】
ビデオ符号化装置1900は、スライスヘッダシンタックス3100に、加重値予測シンタックスpred_weight_table()3140を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_wp_info_in_ph_flag 2840が0を示す場合(3130)、スライスヘッダシンタックス3100に、加重値予測シンタックスpred_weight_table()3140を含めることができる。
【0315】
ビデオ復号装置1700は、スライスヘッダシンタックス3100から、加重値予測シンタックスpred_weight_table()3140を呼び出すことができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_wp_info_in_ph_flag 2840が0を示す場合(3130)、スライスヘッダシンタックス3100から、加重値予測シンタックスpred_weight_table()3140を呼び出すことができる。
【0316】
ビデオ復号装置1700は、加重値予測シンタックスpred_weight_table()3140から、加重値予測を行うために必要なルマ成分の加重値、及びクロマ成分の加重値を決定するためのパラメータを獲得することができる。ビデオ復号装置1700は、現在スライスに含まれたブロックにつき、ルマ成分の加重値、及びクロマ成分の加重値を利用して加重値予測を行うことができる。
【0317】
ビデオ符号化装置1900は、スライスヘッダシンタックス3100に、シンタックスエレメントsh_sao_luma_used_flag及びsh_sao_chroma_used_flag 3160を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_sao_info_in_ph_flag 2820が0を示す場合(3150)、スライスヘッダシンタックス3100に、シンタックスエレメントsh_sao_luma_used_flag及びsh_sao_chroma_used_flag 3160を含めることができる。
【0318】
ビデオ復号装置1700は、スライスヘッダシンタックス3100から、シンタックスエレメントsh_sao_luma_used_flag及びsh_sao_chroma_used_flag 3160を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_sao_info_in_ph_flag 2820が0を示す場合(3150)、スライスヘッダシンタックス3100から、シンタックスエレメントsh_sao_luma_used_flag及びsh_sao_chroma_used_flag 3160を獲得することができる。
【0319】
ビデオ復号装置1700は、シンタックスエレメントsh_sao_luma_used_flagから、現在スライスのルマ成分のためにSAOが使用されるか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントsh_sao_chroma_used_flagから、現在スライスのクロマ成分のためにSAOが使用されるか否かということを確認することができる。ビデオ復号装置1700は、シンタックスエレメントsh_sao_luma_used_flag及びsh_sao_chroma_used_flag 3160に基づき、現在スライスに含まれた最大符号化単位のルマ成分及びクロマ成分につき、それぞれSAOを遂行することができる。
【0320】
図32は、一実施形態による、現在スライスのALF関連パラメータが含まれたスライスヘッダを図示する。
【0321】
ビデオ符号化装置1900は、スライスヘッダシンタックス3200に、シンタックスエレメントsh_num_alf_aps_ids_luma,sh_alf_aps_id_luma[i],sh_alf_cb_enabled_flag,sh_alf_cr_enabled_flag,sh_alf_aps_id_chroma,sh_alf_cc_cb_enabled_flag,sh_alf_cc_cb_aps_id,sh_alf_cc_cr_enabled_flag,sh_alf_cc_cr_aps_id 3220を含めることができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_alf_info_in_ph_flag 2830が0を示す場合(3210)、スライスヘッダシンタックス3200に、シンタックスエレメントsh_num_alf_aps_ids_luma,sh_alf_aps_id_luma[i],sh_alf_cb_enabled_flag,sh_alf_cr_enabled_flag,sh_alf_aps_id_chroma,sh_alf_cc_cb_enabled_flag,sh_alf_cc_cb_aps_id,sh_alf_cc_cr_enabled_flag,sh_alf_cc_cr_aps_id 3220を含めることができる。
【0322】
ビデオ符号化装置1900は、スライスヘッダシンタックス3200から、シンタックスエレメントsh_num_alf_aps_ids_luma,sh_alf_aps_id_luma[i],sh_alf_cb_enabled_flag,sh_alf_cr_enabled_flag,sh_alf_aps_id_chroma,sh_alf_cc_cb_enabled_flag,sh_alf_cc_cb_aps_id,sh_alf_cc_cr_enabled_flag,sh_alf_cc_cr_aps_id 3220を獲得することができる。具体的には、先のピクチャパラメータセット(PPS)2800に含まれたpps_alf_info_in_ph_flag 2830が0を示す場合(3210)、スライスヘッダシンタックス3200から、シンタックスエレメントsh_num_alf_aps_ids_luma,sh_alf_aps_id_luma[i],sh_alf_cb_enabled_flag,sh_alf_cr_enabled_flag,sh_alf_aps_id_chroma,sh_alf_cc_cb_enabled_flag,sh_alf_cc_cb_aps_id,sh_alf_cc_cr_enabled_flag,sh_alf_cc_cr_aps_id 3220を獲得することができる。
【0323】
シンタックスエレメントsh_num_alf_aps_ids_lumaは、現在スライスが参照するALF APSの個数を示す。シンタックスエレメントsh_alf_aps_id_luma[i]は、現在スライスのルマ成分が参照するi番目ALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントsh_alf_cb_enabled_flagは、現在スライスのCb成分につき、ALFが許容されるか否かということを示す。シンタックスエレメントsh_alf_cr_enabled_flagは、現在スライスのCr成分につき、ALFが許容されるか否かということを示す。シンタックスエレメントsh_alf_aps_id_chromaは、現在スライスのクロマ成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントsh_alf_cc_cb_enabled_flagは、現在スライスのCb成分につき、クロスコンポーネントALFが許容されるか否かということを示す。シンタックスエレメントsh_alf_cc_cb_aps_idは、現在スライスのCb成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。シンタックスエレメントsh_alf_cc_cr_enabled_flagは、現在スライスのCr成分に対してクロスコンポーネントALFが許容されるか否かということを示す。シンタックスエレメントsh_alf_cc_cr_aps_idは、現在スライスのCr成分が参照するALF APSのaps_adaptation_parameter_set_idを示す。
【0324】
ビデオ復号装置1700は、前記獲得されたシンタックスエレメントsh_num_alf_aps_ids_luma,sh_alf_aps_id_luma[i],sh_alf_cb_enabled_flag,sh_alf_cr_enabled_flag,sh_alf_aps_id_chroma,sh_alf_cc_cb_enabled_flag,sh_alf_cc_cb_aps_id,sh_alf_cc_cr_enabled_flag,sh_alf_cc_cr_aps_id 3220を利用し、現在スライスの最大符号化単位ごとに、ルマ成分及びクロマ成分につき、ALFを遂行することができる。
【0325】
一実施形態によるビデオ復号装置1700、及び一実施形態によるビデオ符号化装置1900は、デブロッキングフィルタリング関連パラメータ、参照ピクチャリスト関連パラメータ、加重値予測関連パラメータ、SAO関連パラメータ、ALF関連パラメータを、それぞれピクチャ別またはスライス別に、選択的にシグナリングすることができる。従って、一実施形態によるビデオ符号化装置1900は、ピクチャ別に、前記ツール別関連パラメータをシグナリングするか、あるいはスライス別に、前記ツール別関連パラメータをシグナリングするかということを、データピクチャの特性またはデータ伝送効率によって決定し、伝送効率が高い方法により、前記ツール別関連パラメータをシグナリングすることができる。一実施形態によるビデオ復号装置1700は、ピクチャパラメータセットから獲得された情報に基づき、ピクチャ別に、前記ツール別関連パラメータを獲得するか、あるいはスライス別に、前記ツール別関連パラメータを獲得するかということを決定し、ピクチャ別に、前記ツール別関連パラメータ、またはスライス別に、前記ツール別関連パラメータを獲得することができる。従って、ピクチャ別に、前記ツール別関連パラメータがシグナリングされる場合には、ピクチャに含まれたスライス別に、前記ツール別関連パラメータがシグナリングされる必要がないので、前記ツール別関連パラメータをシグナリングするためのデータが節減されうる。
【0326】
なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。
【0327】
該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために、臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されるものではなく、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体;CD-ROM(compact disc read-only memory)及びDVD(digital versatile disc)のような光記録媒体;フロプティカルディスク(floptical disk)のような磁気・光媒体(magneto-optical medium);及びROM(read-only memory)、RAM(random access memory)、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。機器で読み取り可能な記録媒体は、非一時的(non-transitory)記録媒体の形態によっても提供される。ここで、「非一時的記録媒体」は、実在(tangible)する装置であり、信号(例:電磁波)を含まないということを意味するのみであり、該用語は、データが記録媒体に半永久的に保存される場合と、臨時に保存される場合とを区分するものではない。例として、」非一時的記録媒体」は、データが臨時に保存されるバッファを含むものでもある。
【0328】
また、他の媒体の例示として、アプリケーションを流通させるアプリストアや、その他多様なソフトウェアを供給したり流通させたりするサイト、サーバなどで管理する記録媒体や保存記録媒体も挙げることができる。
【0329】
一実施形態によれば、本文書に開示された多様な実施形態による方法は、コンピュータプログラム製品(computer program product)に含まれても提供される。該コンピュータプログラム製品は、商品として、販売者と購入者との間で取り引きされうる。該コンピュータプログラム製品は、機器で読み取り可能な記録媒体(例:CD-ROM)の形態に配布されるか、あるいはアプリケーションストア(例:プレイストアTM)を介し、あるいは2つのユーザ装置(例:スマートフォン)間において、直接、オンラインで配布(例:ダウンロードまたはアップロード)されもする。オンライン配布の場合、コンピュータプログラム製品(例:ダウンローダブルアプリ(downloadable app))の少なくとも一部は、製造社のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような機器で読み取り可能な記録媒体に、少なくとも一時保存されるか、あるいは臨時に生成されうる。
【0330】
以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されるものではなく、本開示の技術的思想の範囲内において、当分野において当業者により、さまざまな変形及び変更が可能であろう。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32