特表 2022-514836 三角予測モードを利用する映像符号化装置及び映像復号装置、及びそれによる映像符号化方法及び映像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-16

(54)【発明の名称】三角予測モードを利用する映像符号化装置及び映像復号装置、及びそれによる映像符号化方法及び映像復号方法

(51)【国際特許分類】

   H04N 19/52 20140101AFI20220208BHJP

   H04N 19/105 20140101ALI20220208BHJP

   H04N 19/119 20140101ALI20220208BHJP

   H04N 19/70 20140101ALI20220208BHJP

【ＦＩ】

H04N19/52

H04N19/105

H04N19/119

H04N19/70

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2021534365

(86)(22)【出願日】2019-12-20

(85)【翻訳文提出日】2021-06-15

(86)【国際出願番号】 KR2019018217

(87)【国際公開番号】W WO2020130712

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】62/783,662

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジョン，スンス

(72)【発明者】

【氏名】タムセ，アニッシュ

(72)【発明者】

【氏名】パク，ミンス

(72)【発明者】

【氏名】パク，ミンウ

【テーマコード（参考）】

5C159

【Ｆターム（参考）】

5C159LC09

5C159MA04

5C159MA05

5C159MA19

5C159MA21

5C159MC11

5C159ME01

5C159NN10

5C159NN11

5C159PP04

5C159RC12

5C159TA12

5C159TA25

5C159TB08

5C159TC26

5C159TC41

5C159TC42

5C159TD12

5C159UA02

5C159UA05

(57)【要約】

現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、三角予測モード関連情報により、現在ブロックを２つの三角パーティションに分割する段階と、レギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、マージリストに含まれた動きベクトルの中で動きベクトルを示す情報により、２つの三角パーティションのための動きベクトルを選択する段階と、動きベクトルに基づき、２個の三角パーティションに対応する予測ブロックを参照映像から獲得する段階と、最終予測ブロックに基づき、現在ブロックを復元する段階と、を含む、映像復号方法が開示される。

【特許請求の範囲】

【請求項1】

映像復号装置による映像復号方法において、
現在ブロックのための動きベクトル関連情報を、ビットストリームから獲得する段階と、
前記現在ブロックのためのパーティション形態情報を、ビットストリームから獲得する段階と、
前記動きベクトル関連情報に基づき、マージリストに含まれた候補ブロックの動きベクトルのうち、三角パーティションのための第１動きベクトルを選択する段階と、
前記動きベクトル関連情報に基づき、前記マージリストに含まれた候補ブロックの動きベクトルのうち、前記三角パーティションと異なる他のパーティションのための第２動きベクトルを選択する段階と、
前記第１動きベクトルに基づき、前記現在ブロックのための第１予測ブロックを獲得し、前記第２動きベクトルに基づき、前記現在ブロックのための第２予測ブロックを獲得する段階と、
前記パーティション形態情報に基づく加重値を利用し、前記第１予測ブロックと前記第２予測ブロックとを結合し、最終予測ブロックを獲得する段階と、
前記最終予測ブロックを利用し、前記現在ブロックを復元する段階を含む、映像復号方法。

【請求項2】

前記マージリストは、
前記現在ブロックと空間的に係わる空間的ブロックと、前記現在ブロックと時間的に係わる時間的ブロックとのうち利用可能な候補ブロックの動きベクトルを含む、請求項１に記載の映像復号方法。

【請求項3】

前記パーティション形態情報を、ビットストリームから獲得する段階は、
前記現在ブロックの大きさと、第１臨界値とを比較する段階と、
前記比較結果が所定条件を満足すれば、前記現在ブロックのためのパーティション形態情報を、ビットストリームから獲得する段階を含む、請求項１に記載の映像復号方法。

【請求項4】

前記パーティション形態情報を、ビットストリームから獲得する段階は、
前記現在ブロックの高さが前記第１臨界値より小さく、前記現在ブロックの幅が前記第１臨界値より小さい場合、前記パーティション形態情報を、前記ビットストリームから獲得する段階を含む、請求項３に記載の映像復号方法。

【請求項5】

前記比較する段階は、
前記現在ブロックの大きさと、第２臨界値とを比較する段階を含み、
前記パーティション形態情報を、ビットストリームから獲得する段階は、
前記現在ブロックの大きさと、前記第１臨界値との比較結果、及び前記現在ブロックの大きさと、第２臨界値との比較結果が所定条件を満足すれば、前記パーティション形態情報を、ビットストリームから獲得する段階を含む、請求項３に記載の映像復号方法。

【請求項6】

前記現在ブロックの大きさと、第２臨界値とを比較する段階は、
前記現在ブロックの高さと幅とを乗じた値と、前記第２臨界値とを比較する段階を含む、請求項５に記載の映像復号方法。

【請求項7】

前記第１臨界値は、前記第２臨界値より大きい、請求項５に記載の映像復号方法。

【請求項8】

前記パーティション形態情報を、ビットストリームから獲得する段階は、
前記現在ブロックの予測モードがインター・イントラ結合モードではない場合、前記パーティション形態情報を、前記ビットストリームから獲得する段階を含む、請求項１に記載の映像復号方法。

【請求項9】

前記現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、前記パーティション形態情報は、前記ビットストリームから獲得されず、
前記映像復号方法は、
前記残差動きベクトルを利用するマージモードにより、前記現在ブロックを復元する段階をさらに含む、請求項１に記載の映像復号方法。

【請求項10】

前記最終予測ブロックを獲得する段階は、
前記第１予測ブロック及び前記第２予測ブロックに含まれたサンプル値の加重合により、前記最終予測ブロックを獲得する段階を含む、請求項１に記載の映像復号方法。

【請求項11】

前記三角パーティション及び前記他のパーティションは、
前記現在ブロックの左上側コーナーから、前記現在ブロックの右下側コーナーに沿い、前記現在ブロックを分割した形態を有するか、あるいは前記現在ブロックの右上側コーナーから、前記現在ブロックの左下側コーナーに沿い、前記現在ブロックを分割した形態を有する、請求項１に記載の映像復号方法。

【請求項12】

請求項１ないし１１のうちいずれか１項に記載の映像復号方法を実行するためのプログラムを記録したコンピュータで読み取り可能な媒体。

【請求項13】

現在ブロックのための動きベクトル関連情報を、ビットストリームから獲得し、前記現在ブロックのためのパーティション形態情報を、ビットストリームから獲得するエントロピー復号部と、
前記動きベクトル関連情報に基づき、マージリストに含まれた候補ブロックの動きベクトルのうち、三角パーティションのための第１動きベクトルを選択し、前記動きベクトル関連情報に基づき、前記マージリストに含まれた候補ブロックの動きベクトルのうち、前記三角パーティションと異なる他のパーティションのための第２動きベクトルを選択し、前記第１動きベクトルに基づき、前記現在ブロックのための第１予測ブロックを獲得し、前記第２動きベクトルに基づき、前記現在ブロックのための第２予測ブロックを獲得し、前記パーティション形態情報に基づく加重値を利用し、前記第１予測ブロックと前記第２予測ブロックとを結合し、最終予測ブロックを獲得し、前記最終予測ブロックを利用し、前記現在ブロックを復元する予測復号部と、を含む、映像復号装置。

【請求項14】

映像符号化装置による映像符号化方法において、
マージリストに含まれた候補ブロックの動きベクトルのうち、現在ブロックの三角パーティションのための第１動きベクトルを選択する段階と、
前記マージリストに含まれた候補ブロックの動きベクトルのうち、前記現在ブロックの他のパーティションのための第２動きベクトルを選択する段階と、
前記第１動きベクトル及び前記第２動きベクトルを示す動きベクトル関連情報、及び前記現在ブロックのためのパーティション形態情報を含むビットストリームを生成する段階と、を含む、映像符号化方法。

【請求項15】

前記映像符号化方法は、
前記現在ブロックの大きさと、第１臨界値とを比較する段階をさらに含むが、
前記比較結果が所定条件を満足すれば、前記動きベクトル関連情報及び前記パーティション形態情報が、前記ビットストリームに含まれる、請求項１４に記載の映像符号化方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像の符号化及び復号に係り、さらに具体的には、三角予測モードを利用し、映像を符号化及び復号する装置、及びそれによる映像の符号化方法及び復号方法に関する。

【背景技術】

【0002】

映像の符号化及び復号においては、映像をブロックに分割し、インター予測（inter prediction）またはイントラ予測（intra prediction）を介し、それぞれのブロックを予測符号化及び予測復号することができる。

【0003】

イントラ予測は、映像内の空間的な重複性を除去して映像を圧縮する方法であり、インター予測は、映像間の時間的な重複性を除去して映像を圧縮する方法である。インター予測の代表的な例として、動き推定符号化が存在する。該動き推定符号化は、参照映像を利用し、現在映像のブロックを予測する。所定の評価関数を利用し、現在ブロックと最も類似している参照ブロックを、所定の検索範囲で探索することができる。現在ブロックを、参照ブロックに基づいて予測し、予測結果として生成された予測ブロックを現在ブロックから減算し、残差ブロックを生成して符号化する。そのとき、予測をさらに正確に行うために、参照映像に対して補間を行い、整数画素単位（integer pel unit）より小さい副画素単位（sub pel unit）のピクセルを生成し、副画素単位のピクセルに基づいてインター予測を行うことができる。

【0004】

Ｈ．２６４ ＡＶＣ（advanced video coding）及びＨＥＶＣ（high efficiency video coding）のようなコーデックにおいては、現在ブロックの動きベクトルを予測するために、現在ブロックに隣接した以前に符号化されたブロックの動きベクトルを、現在ブロックの予測動きベクトル（prediction motion vector）として利用する。現在ブロックの動きベクトルと、予測動きベクトルとの差である残差動きベクトル（differential motion vector）は、所定の方式を介し、デコーダ側にシグナリングされる。インター予測においてマージモードにおいては、残差動きベクトルがデコーダ側にシグナリングされる代わりに、所定規則によって生成されたマージリストに含まれた動きベクトル候補のうち、現在ブロックの動きベクトルに利用される動きベクトル候補を示す情報がデコーダ側にシグナリングされる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

一実施形態による、映像の復号装置及びその方法、映像の符号化装置及びその方法は、現在ブロックの予測モードに対して制限事項を設定し、不要な情報がビットストリームに含まれないようにすることを技術的課題にする。

【0006】

また、一実施形態による、映像の復号装置及びその方法、映像の符号化装置及びその方法は、映像の符号化及び復号のプロセスを単純化することを技術的課題にする。

【課題を解決するための手段】

【0007】

一実施形態による映像復号方法は、映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、前記三角予測モード関連情報により、前記現在ブロックを２つの三角パーティションに分割する段階と、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、前記マージリストに含まれた動きベクトルのうち、前記三角予測モード関連情報に含まれた動きベクトルを示す情報により、前記２つの三角パーティションのための動きベクトルを選択する段階と、前記選択した動きベクトルに基づき、前記２つの三角パーティションに対応する予測ブロックを参照映像から獲得する段階と、前記予測ブロックの結合によって獲得される最終予測ブロックに基づき、前記現在ブロックを復元する段階と、を含むものである。

【発明の効果】

【0008】

一実施形態による、映像の復号装置及びその方法、映像の符号化装置及びその方法は、現在ブロックの予測モードに対して制限事項を設定し、不要な情報がビットストリームに含まれないようにすることができる。

【0009】

また、一実施形態による、映像の復号装置及びその方法、映像の符号化装置及びその方法は、映像の符号化及び復号のプロセスを単純化することができる。

【0010】

ただし、一実施形態による、映像の復号装置及びその方法、映像の符号化装置及びその方法が達成することができる効果は、以上で言及したところに制限されるものではなく、言及されていない他の効果は、以下の記載から、本開示が属する技術分野で当業者に明確に理解されるであろう。

【図面の簡単な説明】

【0011】

本明細書で引用される図面をより十分に理解するために、各図面の簡単な説明が提供される。

【図1】一実施形態による映像復号装置のブロック図である。

【図2】一実施形態による映像符号化装置のブロック図である。

【図3】一実施形態により、映像復号装置が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。

【図4】一実施形態により、映像復号装置が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。

【図5】一実施形態により、映像復号装置がブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する図面である。

【図6】一実施形態により、映像復号装置が奇数個の符号化単位のうち、所定符号化単位を決定するための方法を図示する図面である。

【図7】一実施形態により、映像復号装置が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する図面である。

【図8】一実施形態により、映像復号装置が所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する図面である。

【図9】一実施形態により、映像復号装置は、第１符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する図面である。

【図10】一実施形態により、映像復号装置は、第１符号化単位が分割されて決まった非正方形状の第２符号化単位が所定の条件を満足する場合、第２符号化単位が分割されうる形態が制限されることを図示する図面である。

【図11】一実施形態により、分割形態モード情報が４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置が、正方形状の符号化単位を分割する過程を図示する図面である。

【図12】一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示する図面である。

【図13】一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。

【図14】一実施形態により、符号化単位の形態及び大きさによって決定されうる深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する図面である。

【図15】一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する図面である。

【図16】一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する図面である。

【図17】一実施形態により、符号化単位が分割されうる形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する図面である。

【図18】一実施形態により、バイナリ（binary）コードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の多様な形態を図示する図面である。

【図19】一実施形態により、バイナリコードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する図面である。

【図20】ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。

【図21】一実施形態による映像復号装置の構成を示すブロック図である。

【図22】一実施形態による、三角予測モード関連情報をパージングするためのシンタックスを示す例示的な図面である。

【図23】レギュラーマージモードにおけるマージリスト構築方法について説明するための図面である。

【図24】レギュラーマージモードのためのマージリストから、三角予測モードのためのマージリストを構築する方法について説明するための例示的な図面である。

【図25】レギュラーマージモードのためのマージリストから、三角予測モードのためのマージリストを構築する方法について説明するための例示的な図面である。

【図26】現在ブロックから分割された２つの三角パーティションに対応する予測ブロックを決定する方法について説明するための図面である。

【図27】２つの三角パーティションに対応する予測ブロックを結合し、最終予測ブロックを生成する方法について説明するための図面である。

【図28】一実施形態による映像復号方法を示すフローチャートである。

【図29】一実施形態による映像符号化装置の構成を示すブロック図である。

【図30】一実施形態による映像符号化方法を示すフローチャートである。

【発明を実施するための形態】

【0012】

一実施形態による映像復号方法は、映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、前記三角予測モード関連情報により、前記現在ブロックを２つの三角パーティションに分割する段階と、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、前記マージリストに含まれた動きベクトルのうち、前記三角予測モード関連情報に含まれた動きベクトルを示す情報により、前記２つの三角パーティションのための動きベクトルを選択する段階と、前記選択した動きベクトルに基づき、前記２つの三角パーティションに対応する予測ブロックを参照映像から獲得する段階と、前記予測ブロックの結合によって獲得される最終予測ブロックに基づき、前記現在ブロックを復元する段階と、を含むものである。

【0013】

一実施形態において、前記レギュラーマージモードにおけるマージリスト構築方法は、前記現在ブロックと空間的に関係する空間的ブロック、及び前記現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。

【0014】

前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの大きさと、第１臨界値とを比較する段階と、前記比較結果が所定条件を満足すれば、前記現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する段階と、を含むものである。

【0015】

前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの高さが、前記第１臨界値より小さく、前記現在ブロックの幅が、前記第１臨界値より小さい場合、前記三角予測モード関連情報を、前記ビットストリームから獲得する段階を含むものである。

【0016】

前記比較する段階は、前記現在ブロックの大きさと、第２臨界値とを比較する段階を含み、前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの大きさと、前記第１臨界値との比較結果、及び前記現在ブロックの大きさと、第２臨界値との比較結果が所定条件を満足すれば、前記三角予測モード関連情報を、ビットストリームから獲得する段階を含むものである。

【0017】

前記現在ブロックの大きさと、第２臨界値とを比較する段階は、前記現在ブロックの高さと幅とを乗じた値と、前記第２臨界値とを比較する段階を含むものである。

【0018】

前記第１臨界値は、前記第２臨界値よりも大きくなる。

【0019】

前記三角予測モード関連情報を、ビットストリームから獲得する段階は、前記現在ブロックの予測モードが、インター・イントラ結合モードではない場合、前記三角予測モード関連情報を、前記ビットストリームから獲得する段階を含むものである。

【0020】

前記現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、前記三角予測モード関連情報は、前記ビットストリームから獲得されず、前記映像復号方法は、前記残差動きベクトルを利用するマージモードにより、前記現在ブロックを復元する段階をさらに含むものである。

【0021】

前記現在ブロックを復元する段階は、前記２つの三角パーティションそれぞれに対応する予測ブロックに含まれたサンプル値の加重和により、前記最終予測ブロックを生成する段階を含むものである。

【0022】

前記現在ブロックを２つの三角パーティションに分割する段階は、前記現在ブロックの左上側コーナーから、前記現在ブロックの右下側コーナーに沿い、前記現在ブロックを分割するか、あるいは前記現在ブロックの右上側コーナーから、前記現在ブロックの左下側コーナーに沿い、前記現在ブロックを分割する段階を含むものである。

【0023】

一実施形態による映像復号装置は、映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得するエントロピー復号部と、前記三角予測モード関連情報により、前記現在ブロックを２つの三角パーティションに分割し、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築し、前記マージリストに含まれた動きベクトルのうち、前記三角予測モード関連情報に含まれた動きベクトルを示す情報により、前記２つの三角パーティションのための動きベクトルを選択し、前記選択した動きベクトルに基づき、前記２つの三角パーティションに対応する予測ブロックを参照映像から獲得し、前記予測ブロックの結合によって獲得される最終予測ブロックに基づき、前記現在ブロックを復元する予測復号部と、を含むものである。

【0024】

一実施形態による映像符号化方法は、映像から分割された現在ブロックの予測モードを三角予測モードに決定する段階と、前記現在ブロックを２つの三角パーティションに分割する段階と、前記現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する段階と、前記マージリストに含まれた動きベクトルのうち、前記２つの三角パーティションのための動きベクトルを選択する段階と、前記選択された動きベクトルを示す情報を含む三角予測モード関連情報を含むビットストリームを生成する段階と、を含むものである。

【0025】

前記現在ブロックの予測モードを三角予測モードに決定する段階は、前記現在ブロックの大きさと、第１臨界値とを比較する段階と、前記比較結果が所定条件を満足すれば、前記現在ブロックの予測モードを三角予測モードに決定する段階と、を含むものである。

【0026】

本開示は、多様な変更を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、それらについて、詳細な説明を介して詳細に説明する。しかし、それらは、本開示の実施形態について限定するものではなく、本開示は、さまざまな実施形態の思想及び技術範囲に含まれる全ての変更、均等物ないし代替物を含むものであると理解されなければならない。

【0027】

本実施形態についての説明において、関連公知技術に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしうると判断される場合、その詳細な説明を省略する。また、明細書の説明過程において利用される数（例えば、第１、第２など）は、１つの構成要素を他の構成要素と区分するための識別記号に過ぎない。

【0028】

また、本明細書において、一構成要素が他の構成要素と「連結される」あるいは「接続される」というように言及されたときには、前記構成要素が、前記他の構成要素と直接連結されるか、あるいは直接接続されもするが、特別に反対となる記載が存在しない以上、中間に他の構成要素を媒介して連結されるか、あるいは接続されもすると理解されなければならないのである。

【0029】

また、本明細書において、「～部（ユニット）」、「モジュール」というように表現される構成要素は、２個以上の構成要素が１つの構成要素に合わされるか、または１つの構成要素がさらに細分化された機能別に、２個以上に分化されもする。また、以下において説明する構成要素それぞれは、自体が担当する主機能以外にも、他の構成要素が担当する機能のうち、一部または全部の機能を追加して遂行することもでき、該構成要素それぞれが担当する主機能のうち一部機能が、他の構成要素により、専用担当されて遂行されうるということは、言うまでもない。

【0030】

また、本明細書において、「映像（image）」または「ピクチャ」は、静止映像を意味しうる。または、「映像」または「ピクチャ」は、ビデオを構成するフレームやビデオそれ自体も意味しうる。

【0031】

また、本明細書において、「サンプル」または「信号」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、画素値、変換領域上の変換係数がサンプルでもある。そのような少なくとも１つのサンプルを含む単位をブロックと定義することができる。

【0032】

以下においては、図１ないし図２０を参照し、一実施形態による、ツリー構造の符号化単位及び変換単位に基づく映像符号化方法及びその装置、映像復号方法及びその装置が開示される。

【0033】

図１は、一実施形態による映像復号装置１００のブロック図を図示する。

【0034】

映像復号装置１００は、ビットストリーム獲得部１１０及び復号部１２０を含んでもよい。ビットストリーム獲得部１１０及び復号部１２０は、少なくとも１つのプロセッサを含んでもよい。また、ビットストリーム獲得部１１０及び復号部１２０は、少なくとも１つのプロセッサが遂行する命令語を保存するメモリを含んでもよい。

【0035】

ビットストリーム獲得部１１０は、ビットストリームを受信することができる。該ビットストリームは、後述される映像符号化装置２００が映像を符号化した情報を含む。また、ビットストリームは、映像符号化装置２００からも送信される。映像符号化装置２００及び映像復号装置１００は、有線または無線で連結され、ビットストリーム獲得部１１０は、有線または無線を介し、ビットストリームを受信することができる。ビットストリーム獲得部１１０は、光学メディア、ハードディスクのような記録媒体からビットストリームを受信することができる。復号部１２０は、受信されたビットストリームから獲得された情報に基づき、映像を復元することができる。復号部１２０は、映像を復元するためのシンタックスエレメントをビットストリームから獲得することができる。復号部１２０は、シンタックスエレメントに基づき、映像を復元することができる。

【0036】

映像復号装置１００の動作について詳細に説明すれば、ビットストリーム獲得部１１０は、ビットストリームを受信することができる。

【0037】

映像復号装置１００は、ビットストリームから、符号化単位の分割形態モードに対応するビンストリングを獲得する動作を遂行することができる。そして、映像復号装置１００は、符号化単位の分割規則を決定する動作を遂行することができる。また、映像復号装置１００は、分割形態モードに対応するビンストリング、及び前記分割規則のうち少なくとも一つに基づき、符号化単位を複数の符号化単位に分割する動作を遂行することができる。映像復号装置１００は、分割規則を決定するために、符号化単位の幅、及び高さの比率による、前記符号化単位の大きさの許容可能な第１範囲を決定することができる。映像復号装置１００は、分割規則を決定するために、符号化単位の分割形態モードによる、符号化単位の大きさの許容可能な第２範囲を決定することができる。

【0038】

以下においては、本開示の一実施形態により、符号化単位の分割について詳細に説明する。

【0039】

まず、１枚のピクチャは、１以上のスライス、あるいは１以上のタイルにも分割される。１つのスライス、または１つのタイルは、１以上の最大符号化単位（ＣＴＵ：coding tree unit）のシーケンスでもある。最大符号化単位（ＣＴＵ）と対比される概念として、最大符号化ブロック（ＣＴＢ：coding tree block）がある。

【0040】

最大符号化ブロック（ＣＴＢ）は、ＮｘＮ個のサンプルを含むＮｘＮブロックを意味する（Ｎは、整数である）。各カラー成分は、１以上の最大符号化ブロックにも分割される。

【0041】

ピクチャが３個のサンプルアレイ（Ｙ，Ｃｒ，Ｃｂ成分別サンプルアレイ）を有する場合、最大符号化単位（ＣＴＵ）とは、ルマサンプルの最大符号化ブロック、及びそれに対応するクロマサンプルの２個の最大符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、最大符号化単位とは、モノクロームサンプルの最大符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、最大符号化単位とは、当該ピクチャと、該ピクチャのサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。

【0042】

１つの最大符号化ブロック（ＣＴＢ）は、ＭｘＮ個のサンプルを含むＭｘＮ符号化ブロック（coding block）にも分割される（Ｍ、Ｎは、整数である）。

【0043】

ピクチャがＹ，Ｃｒ，Ｃｂ成分別サンプルアレイを有する場合、符号化単位（ＣＵ：coding unit）とは、ルマサンプルの符号化ブロック、及びそれに対応するクロマサンプルの２個の符号化ブロックと、ルマサンプル、クロマサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがモノクロームピクチャである場合、符号化単位とは、モノクロームサンプルの符号化ブロックと、モノクロームサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。ピクチャがカラー成分別に分離されるカラープレーンに符号化されるピクチャである場合、符号化単位とは、当該ピクチャと、該ピクチャのサンプルを符号化するのに利用されるシンタックス構造とを含む単位である。

【0044】

前述のように、最大符号化ブロックと最大符号化単位は、互いに区別される概念であり、符号化ブロックと符号化単位は、互いに区別される概念である。すなわち、（最大）符号化単位は、当該サンプルを含む（最大）符号化ブロックと、それに対応するシンタックス構造とを含むデータ構造を意味する。しかし、当業者であるならば、（最大）符号化単位または（最大）符号化ブロックが、所定個数のサンプルを含む所定サイズのブロックを称するということを理解することができるので、以下、明細書においては、最大符号化ブロック及び最大符号化単位、または符号化ブロック及び符号化単位を、特別な事情がない限り、区別せずに言及する。

【0045】

映像は、最大符号化単位（ＣＴＵ）にも分割される。該最大符号化単位の大きさは、ビットストリームから獲得された情報に基づいても決定される。該最大符号化単位の形態は、同一サイズの正方形（square）を有することができる。しかし、それに限定されるものではない。

【0046】

例えば、ビットストリームから、ルマ符号化ブロックの最大サイズに係わる情報が獲得されうる。例えば、ルマ符号化ブロックの最大サイズに係わる情報が示すルマ符号化ブロックの最大サイズは、４ｘ４、８ｘ８、１６ｘ１６、３２ｘ３２、６４ｘ６４、１２８ｘ１２８、２５６ｘ２５６のうち一つでもある。

【0047】

例えば、ビットストリームから、２分割が可能なルマ符号化ブロックの最大サイズと、ルマブロックサイズ差とに係わる情報が獲得されうる。ルマブロックサイズ差に係わる情報は、ルマ最大符号化単位と、２分割が可能な最大ルマ符号化ブロック間の大きさ差を示すことができる。従って、ビットストリームから獲得された２分割が可能なルマ符号化ブロックの最大サイズに係わる情報と、ルマブロックサイズ差に係わる情報とを結合すれば、ルマ最大符号化単位の大きさが決定されうる。ルマ最大符号化単位の大きさを利用すれば、クロマ最大符号化単位の大きさも決定されうる。例えば、カラーフォーマットにより、Ｙ：Ｃｂ：Ｃｒ比率が４：２：０であるならば、クロマブロックの大きさは、ルマブロックの大きさの半分でもあり、同様に、クロマ最大符号化単位の大きさは、ルマ最大符号化単位の大きさの半分でもある。

【0048】

一実施形態によれば、バイナリ分割（binary split）が可能なルマ符号化ブロックの最大サイズに係わる情報は、ビットストリームから獲得するので、バイナリ分割が可能なルマ符号化ブロックの最大サイズは、可変的にも決定される。それと異なり、ターナリ分割（ternary split）が可能なルマ符号化ブロックの最大サイズは、固定されうる。例えば、Ｉスライスにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、３２ｘ３２であり、ＰスライスまたはＢスライスにおいて、ターナリ分割が可能なルマ符号化ブロックの最大サイズは、６４ｘ６４でもある。

【0049】

また、該最大符号化単位は、ビットストリームから獲得された分割形態モード情報に基づき、符号化単位に階層的に分割されうる。分割形態モード情報として、クアッド分割（quad split）いかんを示す情報、多分割いかんを示す情報、分割方向情報及び分割タイプ情報のうち少なくとも一つが、ビットストリームからも獲得される。

【0050】

例えば、クアッド分割いかんを示す情報は、現在符号化単位がクアッド分割（QUAD＿SPLIT）されるか、あるいはクアッド分割されないかということを示すことができる。

【0051】

現在符号化単位がクアッド分割されなければ、多分割いかんを示す情報は、現在符号化単位がそれ以上分割されないか（NO＿SPLIT）、あるいはバイナリ／ターナリ分割されるかということを示すことができる。

【0052】

現在符号化単位がバイナリ分割されるか、あるいはターナリ分割されれば、分割方向情報は、現在符号化単位が水平方向または垂直方向のうち一つに分割されることを示す。

【0053】

現在符号化単位が水平方向または垂直方向に分割されれば、分割タイプ情報は、現在符号化単位をバイナリ分割またはターナリ分割で分割することを示す。

【0054】

分割方向情報及び分割タイプ情報により、現在符号化単位の分割モードが決定されうる。現在符号化単位が水平方向にバイナリ分割される場合の分割モードは、バイナリ水平分割（SPLIT＿ＢＴ＿ＨＯＲ）に、水平方向にターナリ分割される場合の分割モードは、ターナリ水平分割（SPLIT＿ＴＴ＿ＨＯＲ）に、垂直方向にバイナリ分割される場合の分割モードは、バイナリ垂直分割（SPLIT＿ＢＴ＿ＶＥＲ）に、垂直方向にターナリ分割される場合の分割モードは、ターナリ垂直分割（SPLIT＿ＢＴ＿ＶＥＲ）に決定されうる。

【0055】

映像復号装置１００は、ビットストリームから、分割形態モード情報を、１つのビンストリングから獲得することができる。映像復号装置１００が受信したビットストリームの形態は、fixed length binary code、unary code、truncated unary code、事前に決定されたバイナリコードなどを含んでもよい。該ビンストリングは、情報を２進数の羅列で示したものである。該ビンストリングは、少なくとも１ビットによっても構成される。映像復号装置１００は、分割規則に基づき、ビンストリングに対応する分割形態モード情報を獲得することができる。映像復号装置１００は、１つのビンストリングに基づき、符号化単位をクアッド分割するか、クアッド分割しないか、あるいは分割方向及び分割タイプを決定することができる。

【0056】

符号化単位は、最大符号化単位より小さいか、あるいはそれと同じでもある。例えば最大符号化単位も、最大サイズを有する符号化単位であるので、符号化単位の一つである。該最大符号化単位に係わる分割形態モード情報が、分割されないということを示す場合、該最大符号化単位で決定される符号化単位は、最大符号化単位と同じ大きさを有する。該最大符号化単位に係わる分割形態モード情報が分割されることを示す場合、該最大符号化単位は、符号化単位にも分割される。また、符号化単位に係わる分割形態モード情報が分割を示す場合、該符号化単位は、さらに小サイズの符号化単位にも分割される。ただし、映像の分割は、それらに限定されるものではなく、最大符号化単位及び符号化単位は、区別されないものでもある。符号化単位の分割については、図３ないし図１６でさらに詳細に説明する。

【0057】

また、符号化単位から、予測のための１以上の予測ブロックが決定されうる。該予測ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。また、該符号化単位から、変換のための１以上の変換ブロックが決定されうる。該変換ブロックは、符号化単位と同じであるか、あるいはそれよりも小さい。

【0058】

該変換ブロックと該予測ブロックとの形態及び大きさは、互いに関係ないのである。

【0059】

他の実施形態において、予測ブロックとして符号化単位が利用され、予測が行われうる。また、変換ブロックとして符号化単位が利用され、変換が行われうる。

【0060】

符号化単位の分割については、図３ないし図１６でさらに詳細に説明する。本開示の現在ブロック及び周辺ブロックは、最大符号化単位、符号化単位、予測ブロック及び変換ブロックのうち一つを示すことができる。また、現在ブロックまたは現在符号化単位は、現在、復号または符号化が進められるブロック、または現在分割が進められているブロックである。周辺ブロックは、現在ブロック以前に復元されたブロックでもある。該周辺ブロックは、現在ブロックから、空間的または時間的に隣接しうる。該周辺ブロックは、現在ブロックの左下側、左側、左上側、上側、右上側、右側、右下側のうち一つに位置することができる。

【0061】

図３は、一実施形態により、映像復号装置１００が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

【0062】

ブロック形態は、４Ｎｘ４Ｎ、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎを含んでもよい。ここで、Ｎは、正の整数でもある。該ブロック形態情報は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを示す情報である。

【0063】

該符号化単位の形態は、正方形（square）及び非正方形（non－square）を含んでもよい。該符号化単位の幅及び高さの長さが同じである場合（すなわち、符号化単位のブロック形態が４Ｎｘ４Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を正方形と決定することができる。映像復号装置１００は、符号化単位の形態を非正方形とも決定することができる。

【0064】

符号化単位の幅及び高さの長さが異なる場合（すなわち、符号化単位のブロック形態が、４Ｎｘ２Ｎ、２Ｎｘ４Ｎ、４ＮｘＮ、Ｎｘ４Ｎ、３２ＮｘＮ、Ｎｘ３２Ｎ、１６ＮｘＮ、Ｎｘ１６Ｎ、８ＮｘＮまたはＮｘ８Ｎである場合）、映像復号装置１００は、符号化単位のブロック形態情報を非正方形と決定することができる。該符号化単位の形態が非正方形である場合、映像復号装置１００は、符号化単位のブロック形態情報において、幅及び高さの比率を、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、１：３２、３２：１のうち少なくとも一つに決定することができる。また、符号化単位の幅の長さ、及び高さの長さに基づき、映像復号装置１００は、符号化単位が水平方向であるか、あるいは垂直方向であるかということを決定することができる。また、符号化単位の幅の長さ、高さの長さ、または広さのうち少なくとも一つに基づき、映像復号装置１００は、符号化単位の大きさを決定することができる。

【0065】

一実施形態により、映像復号装置１００は、ブロック形態情報を利用し、符号化単位の形態を決定することができ、分割形態モード情報を利用し、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置１００が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態モード情報が示す符号化単位の分割方法が決定されうる。

【0066】

映像復号装置１００は、ビットストリームから、分割形態モード情報を獲得することができる。しかし、それに限定されるものではなく、映像復号装置１００及び映像符号化装置２００は、ブロック形態情報に基づき、事前に約束された分割形態モード情報を決定することができる。映像復号装置１００は、最大符号化単位または最小符号化単位につき、事前に約束された分割形態モード情報を決定することができる。例えば、映像復号装置１００は、最大符号化単位につき、分割形態モード情報をクアッド分割に決定することができる。また、映像復号装置１００は、最小符号化単位につき、分割形態モード情報を「分割せず」と決定することができる。具体的には、映像復号装置１００は、最大符号化単位の大きさを２５６ｘ２５６に決定することができる。映像復号装置１００は、事前に約束された分割形態モード情報を、クアッド分割に決定することができる。該クアッド分割は、符号化単位の幅及び高さをいずれも二等分する分割形態モードである。映像復号装置１００は、分割形態モード情報に基づき、２５６ｘ２５６サイズの最大符号化単位から、１２８ｘ１２８サイズの符号化単位を獲得することができる。また、映像復号装置１００は、最小符号化単位の大きさを４ｘ４に決定することができる。映像復号装置１００は、最小符号化単位につき、「分割せず」を示す分割形態モード情報を獲得することができる。

【0067】

一実施形態により、映像復号装置１００は、現在符号化単位が正方形状であることを示すブロック形態情報を利用することができる。例えば、映像復号装置１００は、分割形態モード情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということを決定することができる。図３を参照すれば、現在符号化単位３００のブロック形態情報が、正方形の形態を示す場合、復号部１２０は、分割されないということを示す分割形態モード情報により、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄ，３１０ｅ，３１０ｆなどを決定することができる。

【0068】

図３を参照すれば、映像復号装置１００は、一実施形態により、垂直方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。映像復号装置１００は、水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。映像復号装置１００は、垂直方向及び水平方向に分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を、垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。映像復号装置１００は、一実施形態により、垂直方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を垂直方向に分割した３つの符号化単位３１０ｅを決定することができる。映像復号装置１００は、水平方向にターナリ分割されることを示す分割形態モード情報に基づき、現在符号化単位３００を水平方向に分割した３つの符号化単位３１０ｆを決定することができる。ただし、正方形の符号化単位が分割されうる分割形態は、前述の形態に限定して解釈されるものではなく、分割形態モード情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定の分割形態は、以下において、多様な実施形態を介して具体的に説明する。

【0069】

図４は、一実施形態により、映像復号装置１００が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

【0070】

一実施形態により、映像復号装置１００は、現在符号化単位が非正方形状であることを示すブロック形態情報を利用することができる。映像復号装置１００は、分割形態モード情報により、非正方形の現在符号化単位を分割しないか、あるいは所定の方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が非正方形の形態を示す場合、映像復号装置１００は、分割されないということを示す分割形態モード情報により、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を決定するか、あるいは所定の分割方法を示す分割形態モード情報に基づいて分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。非正方形の符号化単位が分割される所定の分割方法は、以下において、多様な実施形態を介して具体的に説明する。

【0071】

一実施形態により、映像復号装置１００は、分割形態モード情報を利用し、符号化単位が分割される形態を決定することができ、その場合、該分割形態モード情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図４を参照すれば、該分割形態モード情報が２つの符号化単位に、現在符号化単位４００または４５０が分割されることを示す場合、映像復号装置１００は、該分割形態モード情報に基づき、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができる。

【0072】

一実施形態により、映像復号装置１００が分割形態モード情報に基づき、非正方形の形態の現在符号化単位４００または４５０を分割する場合、映像復号装置１００は、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置１００は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができる。

【0073】

一実施形態により、該分割形態モード情報が、奇数個のブロックに符号化単位を分割（ターナリ分割）することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、該分割形態モード情報が３個の符号化単位に、現在符号化単位４００または４５０を分割することを示す場合、映像復号装置１００は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃに分割することができる。

【0074】

一実施形態により、現在符号化単位４００または４５０の幅及び高さの比率が、４：１または１：４でもある。幅及び高さの比率が４：１である場合、幅の長さが高さの長さより長いので、ブロック形態情報は、水平方向でもある。幅及び高さの比率が１：４である場合、幅の長さが高さの長さより短いので、ブロック形態情報は、垂直方向でもある。映像復号装置１００は、分割形態モード情報に基づき、現在符号化単位を奇数個のブロックに分割することを決定することができる。また、映像復号装置１００は、現在符号化単位４００または４５０のブロック形態情報に基づき、現在符号化単位４００または４５０の分割方向を決定することができる。例えば、現在符号化単位４００が垂直方向である場合、映像復号装置１００は、現在符号化単位４００を水平方向に分割し、符号化単位４３０ａ，４３０ｂ，４３０ｃを決定することができる。また、現在符号化単位４５０が水平方向である場合、映像復号装置１００は、現在符号化単位４５０を垂直方向に分割し、符号化単位４８０ａ，４８０ｂ，４８０ｃを決定することができる。

【0075】

一実施形態により、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさがいずれも同一ではないのである。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃにおいて、所定の符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定されうる符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃが、それぞれ互いに異なる大きさを有することもできる。

【0076】

一実施形態により、分割形態モード情報が、奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置１００は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置１００は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位につき、所定制限を置くことができる。図４を参照すれば、映像復号装置１００は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃのうち、中央に位置する符号化単位４３０ｂ，４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異ならせることができる。例えば、映像復号装置１００は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定の回数ほどだけ分割されるように制限することができる。

【0077】

図５は、一実施形態により、映像復号装置１００が、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、符号化単位を分割する過程を図示する。

【0078】

一実施形態により、映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態モード情報が、水平方向に第１符号化単位５００を分割することを示す場合、映像復号装置１００は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定されうる。以下においては、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるとも理解される。

【0079】

一実施形態により、映像復号装置１００は、決定された第２符号化単位５１０を、分割形態モード情報に基づき、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、映像復号装置１００は、分割形態モード情報に基づき、第１符号化単位５００を分割して決定された非正方形の形態の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどに分割するか、あるいは第２符号化単位５１０を分割しないのである。映像復号装置１００は、分割形態モード情報を獲得することができ、映像復号装置１００は、獲得した分割形態モード情報に基づき、第１符号化単位５００を分割し、例えば、多様な形態の複数個の第２符号化単位５１０を分割することができ、第２符号化単位５１０は、分割形態モード情報に基づき、第１符号化単位５００が分割された方式によっても分割される。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わる分割形態モード情報に基づき、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わる分割形態モード情報に基づき、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどにも分割される。すなわち、該符号化単位は、符号化単位それぞれに係わる分割形態モード情報に基づき、再帰的に分割されうる。従って、非正方形状の符号化単位に正方形の符号化単位が決定され、そのような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定されうる。

【0080】

図５を参照すれば、非正方形状の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、所定の符号化単位（例えば、真ん中に位置する符号化単位または正方形状の符号化単位）は、再帰的に分割されうる。一実施形態により、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち１つの正方形状の第３符号化単位５２０ｃは、水平方向に分割され、複数個の第４符号化単位にも分割される。複数個の第４符号化単位５３０ａ，５３０ｂ，５３０ｃ，５３０ｄのうち１つの非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第４符号化単位５３０ｂまたは５３０ｄは、奇数個の符号化単位にさらに分割されうる。符号化単位の再帰的分割に利用されうる方法については、多様な実施形態を介して後述する。

【0081】

一実施形態により、映像復号装置１００は、分割形態モード情報に基づき、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどそれぞれを符号化単位に分割することができる。また、映像復号装置１００は、分割形態モード情報に基づき、第２符号化単位５１０を分割しないと決定することができる。映像復号装置１００は、一実施形態により、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、所定の第３符号化単位につき、所定制限を置くことができる。例えば、映像復号装置１００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。

【0082】

図５を参照すれば、映像復号装置１００は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、あるいは所定の分割形態に分割（例えば、４個の符号化単位にだけ分割するか、あるいは第２符号化単位５１０が分割された形態に対応する形態に分割）されるように制限するか、あるいは所定の回数だけ分割（例えば、ｎ回だけ分割する（ｎ＞０））すると制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、他の符号化単位５２０ｂ，５２０ｄと異なるように復号されうる多様な制限を含むと解釈されなければならない。

【0083】

一実施形態により、映像復号装置１００は、現在符号化単位を分割するために利用される分割形態モード情報を、現在符号化単位内の所定の位置で獲得することができる。

【0084】

図６は、一実施形態により、映像復号装置１００が奇数個の符号化単位のうち、所定符号化単位を決定するための方法を図示する。

【0085】

図６を参照すれば、現在符号化単位６００，６５０の分割形態モード情報は、現在符号化単位６００，６５０に含まれる複数個のサンプルのうち、所定位置のサンプル（例えば、真ん中に位置するサンプル６４０，６９０）からも獲得される。ただし、そのような分割形態モード情報のうち少なくとも一つが獲得されうる現在符号化単位６００内の所定位置は、図６で図示する真ん中位置に限定して解釈されるものではなく、所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれてもよいと解釈されなければならない。映像復号装置１００は、所定位置から獲得される分割形態モード情報を獲得し、現在符号化単位を、多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。

【0086】

一実施形態により、映像復号装置１００は、現在符号化単位が、所定の個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様でもあり、そのような方法に係わる説明は、以下の多様な実施形態を介して後述する。

【0087】

一実施形態により、映像復号装置１００は、現在符号化単位を、複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。

【0088】

一実施形態により、映像復号装置１００は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、映像復号装置１００は、現在符号化単位６００または現在符号化単位６５０を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃ、または奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃを決定することができる。映像復号装置１００は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃ、または奇数個の符号化単位６６０ａ，６６０ｂ，６６０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂまたは真ん中符号化単位６６０ｂを決定することができる。例えば、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定のサンプルの位置を示す情報に基づき、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づき、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。

【0089】

一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内における位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、そのような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内における座標間の差を示す情報に該当しうる。すなわち、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内における位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。

【0090】

一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内における絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。

【0091】

一実施形態により、映像復号装置１００は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定基準により、符号化単位を選択することができる。例えば、映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、大きさが異なる符号化単位６２０ｂを選択することができる。

【0092】

一実施形態により、映像復号装置１００は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。一実施形態により、映像復号装置１００は、上端符号化単位６２０ａの幅を、現在符号化単位６００の幅と決定することができる。映像復号装置１００は、上端符号化単位６２０ａの高さを、ｙｂ－ｙａと決定することができる。一実施形態により、映像復号装置１００は、真ん中符号化単位６２０ｂの幅を、現在符号化単位６００の幅と決定することができる。映像復号装置１００は、真ん中符号化単位６２０ｂの高さを、ｙｃ－ｙｂと決定することができる。一実施形態により、映像復号装置１００は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。映像復号装置１００は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置１００が、異なる符号化単位と、異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。

【0093】

映像復号装置１００は、左側符号化単位６６０ａの左側上端のサンプル６７０ａの位置を示す情報である（ｘｄ，ｙｄ）座標、真ん中符号化単位６６０ｂの左側上端のサンプル６７０ｂの位置を示す情報である（ｘｅ，ｙｅ）座標、右側符号化単位６６０ｃの左側上端のサンプル６７０ｃの位置を示す情報である（ｘｆ，ｙｆ）座標を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの幅または高さを決定することができる。映像復号装置１００は、符号化単位６６０ａ，６６０ｂ，６６０ｃの位置を示す座標である（ｘｄ，ｙｄ）、（ｘｅ，ｙｅ）、（ｘｆ，ｙｆ）を利用し、符号化単位６６０ａ，６６０ｂ，６６０ｃそれぞれの大きさを決定することができる。

【0094】

一実施形態により、映像復号装置１００は、左側符号化単位６６０ａの幅を、ｘｅ－ｘｄと決定することができる。映像復号装置１００は、左側符号化単位６６０ａの高さを現在符号化単位６５０の高さで決定することができる。一実施形態により、映像復号装置１００は、真ん中符号化単位６６０ｂの幅を、ｘｆ－ｘｅと決定することができる。映像復号装置１００は、真ん中符号化単位６６０ｂの高さを、現在符号化単位６００の高さに決定することができる。一実施形態により、映像復号装置１００は、右側符号化単位６６０ｃの幅または高さは、現在符号化単位６５０の幅または高さと、左側符号化単位６６０ａ及び真ん中符号化単位６６０ｂの幅及び高さを利用して決定することができる。映像復号装置１００は、決定された符号化単位６６０ａ，６６０ｂ，６６０ｃの幅及び高さに基づき、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１００は、左側符号化単位６６０ａ及び右側符号化単位６６０ｃの大きさと異なる大きさを有する真ん中符号化単位６６０ｂを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置１００が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定のサンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用されうる。

【0095】

ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプル位置に係わる情報が利用されうるとも解釈される。

【0096】

一実施形態により、映像復号装置１００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置１００は、水平方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置１００は、垂直方向に沿い、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１００は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。

【0097】

一実施形態により、映像復号装置１００は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置１００は、現在符号化単位を分割（バイナリ分割）し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した、奇数個の符号化単位のうち、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略する。

【0098】

一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置１００は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態モード情報のうち少なくとも一つを利用することができる。

【0099】

図６を参照すれば、映像復号装置１００は、分割形態モード情報に基づき、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位６２０ｂを決定することができる。さらには、映像復号装置１００は、分割形態モード情報が獲得される位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００の分割形態モード情報は、現在符号化単位６００の真ん中に位置するサンプル６４０からも獲得され、前記分割形態モード情報に基づき、現在符号化単位６００が、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂを、真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、分割形態モード情報に限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程においても利用される。

【0100】

一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定のサンプルからも獲得される。図６を参照すれば、映像復号装置１００は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の真ん中に位置するサンプル）から獲得される分割形態モード情報を利用することができる。すなわち、映像復号装置１００は、現在符号化単位６００のブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置１００は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、所定情報（例えば、分割形態モード情報）が獲得されうるサンプルが含まれた符号化単位６２０ｂを決定し、所定制限を置くことができる。図６を参照すれば、一実施形態により、映像復号装置１００は、所定情報が獲得されうるサンプルとして、現在符号化単位６００の真ん中に位置するサンプル６４０を決定することができ、映像復号装置１００は、そのようなサンプル６４０が含まれる符号化単位６２０ｂを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されうるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位６２０ｂに含まれる任意の位置のサンプルとも解釈される。

【0101】

一実施形態により、所定情報が獲得されうるサンプルの位置は、現在符号化単位６００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が、正方形であるか、または非正方形であるかということを決定することができ、形態により、所定情報が獲得されうるサンプルの位置を決定することができる。例えば、映像復号装置１００は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されうるサンプルと決定することができる。他の例を挙げれば、映像復号装置１００は、現在符号化単位に係わるブロック形態情報が非正方形状であることを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されうるサンプルと決定することができる。

【0102】

一実施形態により、映像復号装置１００は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割形態モード情報を利用することができる。一実施形態により、映像復号装置１００は、分割形態モード情報を、符号化単位に含まれた所定位置のサンプルから獲得することができ、映像復号装置１００は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態モード情報を利用し、再帰的に分割されうる。符号化単位の再帰的分割過程については、図５を介して説明したので、詳細な説明は、省略する。

【0103】

一実施形態により、映像復号装置１００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、そのような少なくとも１つの符号化単位が復号される順序を、所定のブロック（例えば、現在符号化単位）によって決定することができる。

【0104】

図７は、一実施形態により、映像復号装置１００が現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。

【0105】

一実施形態により、映像復号装置１００は、分割形態モード情報により、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定するか、第１符号化単位７００を水平方向に分割し、第２符号化単位７３０ａ，７３０ｂを決定するか、あるいは第１符号化単位７００を垂直方向及び水平方向に分割し、第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができる。

【0106】

図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ，７１０ｂが、水平方向７１０ｃに処理されるように順序を決定することができる。映像復号装置１００は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ，７３０ｂの処理順序を、垂直方向７３０ｃに決定することができる。映像復号装置１００は、第１符号化単位７００を、垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄにつき、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（（raster scan order）またはＺスキャン順序（Ｚ scan order）７５０ｅなど）によって決定することができる。

【0107】

一実施形態により、映像復号装置１００は、符号化単位を再帰的に分割することができる。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を分割し、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができ、決定された複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄは、それぞれ独立し、複数個の符号化単位にも分割される。図７を参照すれば、映像復号装置１００は、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定することができ、さらには、第２符号化単位７１０ａ，７１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。

【0108】

一実施形態により、映像復号装置１００は、左側の第２符号化単位７１０ａを水平方向に分割し、第３符号化単位７２０ａ，７２０ｂに分割することができ、右側の第２符号化単位７１０ｂは、分割しないのである。

【0109】

一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置１００は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ，７２０ｂが処理される順序を、右側の第２符号化単位７１０ｂと独立して決定することができる。左側の第２符号化単位７１０ａが水平方向に分割され、第３符号化単位７２０ａ，７２０ｂが決定されたので、第３符号化単位７２０ａ，７２０ｂは、垂直方向７２０ｃに処理されうる。また、左側の第２符号化単位７１０ａ、及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向７１０ｃに該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ，７２０ｂが、垂直方向７２０ｃに処理された後、右側符号化単位７１０ｂが処理されうる。前述の内容は、符号化単位がそれぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位は、所定順序によって独立して処理されうる多様な方法でもって利用されると解釈されなければならない。

【0110】

図８は、一実施形態により、映像復号装置１００において、所定順序符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されることを決定する過程を図示する。

【0111】

一実施形態により、映像復号装置１００は、獲得された分割形態モード情報に基づき、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図８を参照すれば、正方形状の第１符号化単位８００が、非正方形状の第２符号化単位８１０ａ，８１０ｂにも分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立して、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅにも分割される。一実施形態により、映像復号装置１００は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。

【0112】

一実施形態により、映像復号装置１００は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが所定順序に処理されうるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図８を参照すれば、映像復号装置１００は、第１符号化単位８００を再帰的に分割し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅを決定することができる。映像復号装置１００は、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、第１符号化単位８００、第２符号化単位８１０ａ，８１０ｂまたは第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが分割される形態において、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位８１０ａ，８１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅにも分割される。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚスキャン順序８３０）にもなり、映像復号装置１００は、右側第２符号化単位８１０ｂが奇数個に分割されて決定された第３符号化単位８２０ｃ，８２０ｄ，８２０ｅが、前記所定順序によって処理されうる条件を満足するか否かということを判断することができる。

【0113】

一実施形態により、映像復号装置１００は、第１符号化単位８００に含まれる第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが、所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅの境界により、第２符号化単位８１０ａ，８１０ｂの幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第２符号化単位８１０ａの高さを半分に分割して決定される第３符号化単位８２０ａ，８２０ｂは、条件を満足することができる。右側第２符号化単位８１０ｂを３個の符号化単位に分割して決定される第３符号化単位８２０ｃ，８２０ｄ，８２０ｅの境界が、右側第２符号化単位８１０ｂの幅または高さを半分に分割することができないので、第３符号化単位８２０ｃ，８２０ｄ，８２０ｅは、条件を満足することができないと決定されうる。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、判断結果に基づき、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。

【0114】

図９は、一実施形態により、映像復号装置１００が第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。

【0115】

一実施形態により、映像復号装置１００は、ビットストリーム獲得部１１０を介して獲得した分割形態モード情報に基づき、第１符号化単位９００を分割することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、第１符号化単位９００は、正方形であり、分割形態モード情報が非正方形の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位９００を、複数個の非正方形の符号化単位に分割することができる。具体的には、該分割形態モード情報が、第１符号化単位９００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置１００は、正方形状の第１符号化単位９００を、奇数個の符号化単位として、垂直方向に分割されて決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができる。

【0116】

一実施形態により、映像復号装置１００は、第１符号化単位９００に含まれる第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃが所定順序によって処理されうる条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃの境界により、第１符号化単位９００の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図９を参照すれば、正方形状の第１符号化単位９００を垂直方向に分割して決定される第２符号化単位９１０ａ，９１０ｂ，９１０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理されうる条件を満足することができないと決定されうる。また、正方形状の第１符号化単位９００を水平方向に分割して決定される第２符号化単位９２０ａ，９２０ｂ，９２０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理されうる条件を満足することができないと決定されうる。映像復号装置１００は、そのような条件不満足の場合、スキャン順序の断絶と判断し、判断結果に基づき、第１符号化単位９００は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位につき、所定制限を置くことができ、そのような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は、省略する。

【0117】

一実施形態により、映像復号装置１００は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。

【0118】

図９を参照すれば、映像復号装置１００は、正方形状の第１符号化単位９００、非正方形状の第１符号化単位９３０または９５０を多様な形態の符号化単位に分割することができる。

【0119】

図１０は、一実施形態により、映像復号装置１００が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が、所定条件所定の条件を満足する場合、第２符号化単位が分割されうる形態が制限されるところを図示する。

【0120】

一実施形態により、映像復号装置１００は、ビットストリーム獲得部１１０を介して獲得した分割形態モード情報に基づき、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割することで決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立して分割されうる。それにより、映像復号装置１００は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わる分割形態モード情報に基づき、複数個の符号化単位に分割するか、あるいは分割しないということを決定することができる。一実施形態により、映像復号装置１００は、垂直方向に、第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、映像復号装置１００は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定されうる。しかし、それは、映像復号装置１００が、分割形態モード情報に基づき、第１符号化単位１０００を４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割したところと同一結果であり、それは、映像復号側面において非効率的でもある。

【0121】

一実施形態により、映像復号装置１００は、水平方向に、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、映像復号装置１００は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。

【0122】

図１１は、一実施形態により、分割形態モード情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１００が正方形状の符号化単位を分割する過程を図示する。

【0123】

一実施形態により、映像復号装置１００は、分割形態モード情報に基づき、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。該分割形態モード情報には、符号化単位が分割されうる多様な形態に係わる情報が含まれてもよいが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれない場合がある。そのような分割形態モード情報によれば、映像復号装置１００は、正方形状の第１符号化単位１１００を４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。該分割形態モード情報に基づき、映像復号装置１００は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。

【0124】

一実施形態により、映像復号装置１００は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどそれぞれが所定順序に分割され、それは、該分割形態モード情報に基づき、第１符号化単位１１００が分割される方法に対応する分割方法でもある。

【0125】

例えば、映像復号装置１００は、左側第２符号化単位１１１０ａが水平方向に分割され、正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂが水平方向に分割され、正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、映像復号装置１００は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂのいずれもが水平方向に分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。

【0126】

他の例を挙げれば、映像復号装置１００は、上端第２符号化単位１１２０ａが垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂが垂直方向に分割され、正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、映像復号装置１００は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂのいずれもが垂直方向に分割され、正方形状の第３符号化単位１１２６ａ，１１２６ｂ，１１２６ａ，１１２６ｂを決定することもできる。そのような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定されうる。

【0127】

図１２は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。

【0128】

一実施形態により、映像復号装置１００は、分割形態モード情報に基づき、第１符号化単位１２００を分割することができる。ブロック形態が正方形であり、該分割形態モード情報が、第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、映像復号装置１００は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂなどを決定することができる。図１２を参照すれば、第１符号化単位１２００が、水平方向だけ、または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わる分割形態モード情報に基づき、独立して分割されうる。例えば、映像復号装置１００は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。そのような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程は、図１１と係わって説明したので、詳細な説明は、省略する。

【0129】

一実施形態により、映像復号装置１００は、所定順序により、符号化単位を処理することができる。該所定順序による符号化単位の処理に係わる特徴は、図７と係わって説明したので、詳細な説明は、省略する。図１２を参照すれば、映像復号装置１００は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態により、映像復号装置１００は、第１符号化単位１２００が分割される形態により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。

【0130】

一実施形態により、映像復号装置１００は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、映像復号装置１００は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｃを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｂ，１２１６ｄを垂直方向に処理する順序１２１７により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。

【0131】

一実施形態により、映像復号装置１００は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、映像復号装置１００は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序１２２７により、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。

【0132】

図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定されうる。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位に第１符号化単位１２００が分割された結果になる。それにより、映像復号装置１００は、分割形態モード情報に基づき、異なる過程を介し、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位を互いに異なる順序処理することができる。

【0133】

図１３は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。

【0134】

一実施形態により、映像復号装置１００は、符号化単位の深度を所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。映像復号装置１００は、現在符号化単位の長辺長が分割される前の符号化単位の長辺長より２^ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増加されたと決定することができる。以下においては、深度が増加された符号化単位を、下位深度の符号化単位と表現する。

【0135】

図１３を参照すれば、一実施形態により、正方形状であることを示すブロック形態情報（例えば、ブロック形態情報は、「０：SQUARE」を示すことができる）に基づき、映像復号装置１００は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２倍に分割して決定された第２符号化単位１３０２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２の大きさを有することができる。この場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／４倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２倍である第２符号化単位１３０２の深度は、（Ｄ＋１）でもあり、第１符号化単位１３００の幅及び高さの１／４倍である第３符号化単位１３０４の深度は、（Ｄ＋２）でもある。

【0136】

一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であることを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であることを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づき、映像復号装置１００は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。

【0137】

映像復号装置１００は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２などを決定することができる。すなわち、映像復号装置１００は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。

【0138】

一実施形態により、映像復号装置１００は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２などを決定することもできる。すなわち、映像復号装置１００は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。

【0139】

一実施形態により、映像復号装置１００は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３０２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。

【0140】

一実施形態により、映像復号装置１００は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／４サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／４ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。

【0141】

一実施形態により、映像復号装置１００は、ＮｘＮ／２サイズの第２符号化単位１３２２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、映像復号装置１００は、第２符号化単位１３２２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／４ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／４サイズの第３符号化単位１３２４を決定することができる。

【0142】

一実施形態により、映像復号装置１００は、例えば、正方形状の符号化単位１３００，１３０２，１３０４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態により、深度が符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００の深度と同一でもある。

【0143】

一実施形態により、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／４倍に該当しうる。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３２２の深度は、（Ｄ＋１）でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／４倍である第３符号化単位１３１４または１３２４の深度は、（Ｄ＋２）でもある。

【0144】

図１４は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度、及び符号化単位区分のためのインデックス（ＰＩＤ：part index）を図示する。

【0145】

一実施形態により、映像復号装置１００は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、映像復号装置１００は、分割形態モード情報により、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、映像復号装置１００は、第１符号化単位１４００に係わる分割形態モード情報に基づき、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。

【0146】

一実施形態により、正方形状の第１符号化単位１４００に係わる分割形態モード情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第１符号化単位１４００の一辺長と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺長とが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、映像復号装置１００が分割形態モード情報に基づき、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの一辺長は、第１符号化単位１４００の一辺長の１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位である（Ｄ＋１）の深度でもある。

【0147】

一実施形態により、映像復号装置１００は、高さが幅より大きい形態の第１符号化単位１４１０を分割形態モード情報によって水平方向に分割し、複数個の第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態により、映像復号装置１００は、幅が高さより大きい形態の第１符号化単位１４２０を分割形態モード情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。

【0148】

一実施形態により、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態モード情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃ，１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃは、長辺長に基づいて深度が決定されうる。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの一辺長は、高さが幅より大きい非正方形状の第１符号化単位１４１０の一辺長の１／２倍であるので、正方形状の第２符号化単位１４１２ａ，１４１２ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度である（Ｄ＋１）である。

【0149】

さらには、映像復号装置１００が分割形態モード情報に基づき、非正方形状の第１符号化単位１４１０を、奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺長、及び正方形状の第２符号化単位１４１４ｂの一辺長は、第１符号化単位１４１０の一辺長の１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位である（Ｄ＋１）の深度でもある。映像復号装置１００は、第１符号化単位１４１０と係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第１符号化単位１４２０と係わる符号化単位の深度を決定することができる。

【0150】

一実施形態により、映像復号装置１００は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさの比率に基づいてインデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃのうち、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと、幅は、同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの二つを含むのである。従って、スキャン順序により、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。すなわち、インデックス値の不連続性が存在しうる。一実施形態により、映像復号装置１００は、そのような分割された符号化単位間の区分のためのインデックスの不連続性の存在いかんに基づき、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。

【0151】

一実施形態により、映像復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づき、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像復号装置１００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、該インデックス（ＰＩＤ）は、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。

【0152】

一実施形態により、映像復号装置１００は、符号化単位の区分のためのインデックス（ＰＩＤ）を利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形状の第１符号化単位１４１０に係わる分割形態モード情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位１４１０を３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。映像復号装置１００は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックス（ＰＩＤ）を割り当てることができる。映像復号装置１００は、奇数個に分割された符号化単位のうち、真ん中符号化単位を決定するために、各符号化単位に係わるインデックス（ＰＩＤ）を比較することができる。映像復号装置１００は、符号化単位のインデックス（ＰＩＤ）に基づき、インデックス（ＰＩＤ）のうち、真ん中値に該当するインデックス（ＰＩＤ）を有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち、真ん中位置の符号化単位として決定することができる。一実施形態により、映像復号装置１００は、分割された符号化単位区分のためのインデックス（ＰＩＤ）決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさ比率に基づき、インデックス（ＰＩＤ）を決定することができる。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと、幅は、同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。そのような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態モード情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置１００は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、真ん中符号化単位）が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１００は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス（ＰＩＤ）、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それらに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されうると解釈されなければならない。

【0153】

一実施形態により、映像復号装置１００は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。

【0154】

図１５は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。

【0155】

一実施形態により、所定データ単位は、符号化単位が分割形態モード情報を利用し、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当しうる。以下においては、説明上の便宜のために、そのような所定データ単位を基準データ単位と称する。

【0156】

一実施形態により、該基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であってもよく、２の乗数によって表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位にも分割される。

【0157】

一実施形態により、映像復号装置１００は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態により、映像復号装置１００は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割形態モード情報を利用して分割することができる。そのような基準データ単位の分割過程は、クアッドツリー（quad-tree）構造を利用した分割過程に対応しうる。

【0158】

一実施形態により、映像復号装置１００は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、映像復号装置１００は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、分割形態モード情報を利用し、少なくとも１つの符号化単位を決定することができる。

【0159】

図１５を参照すれば、映像復号装置１００は、正方形状の基準符号化単位１５００を利用することができ、あるいは非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、ピクチャ（picture）、スライス（slice）、スライスセグメント（slice segment）、タイル（tile）、タイルグループ（tile group）、最大符号化単位など）によっても決定される。

【0160】

一実施形態により、映像復号装置１００のビットストリーム獲得部１１０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５０２に含まれる少なくとも１つの符号化単位が決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は、省略する。

【0161】

一実施形態により、映像復号装置１００は、所定の条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部１１０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位など）のうち、所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、タイル、タイルグループ、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスだけを獲得することができる。映像復号装置１００は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、映像復号装置１００は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、該インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。

【0162】

一実施形態により、映像復号装置１００は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介し、符号化単位が決定されうる。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当しうる。一実施形態により、該基準符号化単位の大きさは、最大符号化単位をクアッドツリー構造によってｎ回分割した大きさでもある。すなわち、映像復号装置１００は、最大符号化単位をクアッドツリー構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位をブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づいて分割することができる。

【0163】

図１６は、一実施形態により、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。

【0164】

一実施形態により、映像復号装置１００は、ピクチャを分割する少なくとも１つのプロセシングブロックを決定することができる。該プロセシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、該プロセシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順序に決定されうる。すなわち、それぞれのプロセシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定されうる多様な順序種類のうち一つに該当し、それぞれのプロセシングブロックで決定される基準符号化単位決定順序は、プロセシングブロックごとに異なりうる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster scan）、Ｚスキャン（Ｚ－scan）、Ｎスキャン（Ｎ－scan）、右上向き対角スキャン（up-rightdiagonalscan）、水平的スキャン（horizontal scan）、垂直的スキャン（vertical scan）のような多様な順序のうち一つでもあるが、決定されうる順序は、前記スキャン順序に限定して解釈されるものではない。

【0165】

一実施形態により、映像復号装置１００は、プロセシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。映像復号装置１００は、プロセシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。そのようなプロセシングブロックの大きさは、プロセシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。

【0166】

一実施形態により、映像復号装置１００のビットストリーム獲得部１１０は、ビットストリームから、プロセシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループのようなデータ単位で、ビットストリームからも獲得される。すなわち、ビットストリーム獲得部１１０は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセシングブロックの大きさに係わる情報を獲得することができ、映像復号装置１００は、獲得されたプロセシングブロックの大きさに係わる情報を利用し、ピクチャを分割する少なくとも１つのプロセシングブロックの大きさを決定することができ、そのようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。

【0167】

一実施形態により、映像復号装置１００は、ピクチャ１６００に含まれるプロセシングブロック１６０２，１６１２の大きさを決定することができる。例えば、映像復号装置１００は、ビットストリームから獲得されたプロセシングブロックの大きさに係わる情報に基づき、プロセシングブロックの大きさを決定することができる。図１６を参照すれば、映像復号装置１００は、一実施形態により、プロセシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍に決定することができる。映像復号装置１００は、少なくとも１つのプロセシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。

【0168】

一実施形態により、映像復号装置１００は、プロセシングブロックの大きさに基づき、ピクチャ１６００に含まれるそれぞれのプロセシングブロック１６０２，１６１２を決定することができ、プロセシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、該基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。

【0169】

一実施形態により、映像復号装置１００は、ビットストリームから、少なくとも１つのプロセシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づき、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立して決定されうる。

【0170】

一実施形態により、映像復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部１１０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、タイル、タイルグループ、プロセシングブロックのようなデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセシングブロック内における基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセシングブロックを含む特定データ単位ごとにも獲得される。

【0171】

映像復号装置１００は、一実施形態により、決定された順序に基づき、少なくとも１つの基準符号化単位を決定することができる。

【0172】

一実施形態により、ビットストリーム獲得部１１０は、ビットストリームから、プロセシングブロック１６０２，１６１２と係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置１００は、前記プロセシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、映像復号装置１００は、それぞれのプロセシングブロック１６０２，１６１２と係わる少なくとも１つの基準符号化単位の決定順序１６０４，１６１４を決定することができる。例えば、該基準符号化単位の決定順序に係わる情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック１６０２，１６１２と係わる基準符号化単位決定順序は、プロセシングブロックごとに異なりうる。プロセシングブロック１６０２と係わる基準符号化単位決定順序１６０４がラスタースキャン順序である場合、プロセシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに対し、他のプロセシングブロック１６１２と係わる基準符号化単位決定順序１６１４がラスタースキャン順序の逆順である場合、プロセシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。

【0173】

映像復号装置１００は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。映像復号装置１００は、前述の実施形態を介して決定された基準符号化単位に基づいて映像を復号することができる。該基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。

【0174】

一実施形態により、映像復号装置１００は、現在符号化単位の形態を示すブロック形態情報、または現在符号化単位を分割する方法を示す分割形態モード情報を、ビットストリームから獲得して利用することができる。該分割形態モード情報は、多様なデータ単位と係わるビットストリームに含まれるのである。例えば、映像復号装置１００は、シーケンスパラメータセット（sequence parameter set）、ピクチャパラメータセット（picture parameter set）、ビデオパラメータセット（video parameter set）、スライスヘッダ（slice header）、スライスセグメントヘッダ（slice segment header）、タイルヘッダ（tile header）、タイルグループヘッダ（tile group header）に含まれた分割形態モード情報を利用することができる。さらには、映像復号装置１００は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態モード情報に対応するシンタックスエレメントを獲得して利用することができる。

【0175】

以下、本開示の一実施形態による、分割規則を決定する方法について詳細に説明する。

【0176】

映像復号装置１００は、映像の分割規則を決定することができる。該分割規則は、映像復号装置１００と映像符号化装置２００との間で事前に決定されている。映像復号装置１００は、ビットストリームから獲得された情報に基づき、映像の分割規則を決定することができる。映像復号装置１００は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ、スライスセグメントヘッダ、タイルヘッダ、タイルグループヘッダのうち少なくとも一つから獲得された情報に基づき、分割規則を決定することができる。映像復号装置１００は、該分割規則を、フレーム、スライス、タイル、テンポラルレイヤ（temporal layer）、最大符号化単位または符号化単位によって異なるように決定することができる。

【0177】

映像復号装置１００は、符号化単位のブロック形態に基づき、分割規則を決定することができる。ブロック形態は、符号化単位の大きさ、形態、幅及び高さの比率、方向を含んでもよい。映像符号化装置２００及び映像復号装置１００は、符号化単位のブロック形態に基づき、分割規則を決定することを事前に決定することができる。しかし、それに限定されるものではない。映像復号装置１００は、映像符号化装置２００から受信されたビットストリームから獲得された情報に基づき、分割規則を決定することができる。

【0178】

符号化単位の形態は、正方形及び非正方形を含んでもよい。符号化単位の幅及び高さの長さが同じである場合、映像復号装置１００は、符号化単位の形態を正方形に決定することができる。また、符号化単位の幅及び高さの長さが同じではない場合、映像復号装置１００は、符号化単位の形態を非正方形に決定することができる。

【0179】

該符号化単位の大きさは、４ｘ４、８ｘ４、４ｘ８、８ｘ８、１６ｘ４、１６ｘ８、…、２５６ｘ２５６の多様な大きさを含んでもよい。該符号化単位の大きさは、符号化単位の長辺の長さ、短辺の長さ、または広さによっても分類される。映像復号装置１００は、同一グループに分類された符号化単位に、同一分割規則を適用することができる。例えば、映像復号装置１００は、同一長辺長を有する符号化単位を、同一サイズに分類することができる。また、映像復号装置１００は、同一長辺長を有する符号化単位につき、同一分割規則を適用することができる。

【0180】

符号化単位の幅及び高さの比率は、１：２、２：１、１：４、４：１、１：８、８：１、１：１６、１６：１、３２：１または１：３２などを含んでもよい。また、符号化単位の方向は、水平方向及び垂直方向を含んでもよい。該水平方向は、符号化単位の幅の長さが高さの高さより大きい場合を示すことができる。該垂直方向は、符号化単位の幅の長さが高さの高さより小さい場合を示すことができる。

【0181】

映像復号装置１００は、符号化単位の大きさに基づき、分割規則を適応的に決定することができる。映像復号装置１００は、符号化単位の大きさに基づき、許容可能な分割形態モードを異なるように決定することができる。例えば、映像復号装置１００は、符号化単位の大きさに基づき、分割が許容されるか否かということを決定することができる。映像復号装置１００は、符号化単位の大きさにより、分割方向を決定することができる。映像復号装置１００は、符号化単位の大きさにより、許容可能な分割タイプを決定することができる。

【0182】

符号化単位の大きさに基づいて分割規則を決定することは、映像符号化装置２００と映像復号装置１００との間において、事前に決定された分割規則でもある。また、映像復号装置１００は、ビットストリームから獲得された情報に基づき、分割規則を決定することができる。

【0183】

映像復号装置１００は、符号化単位の位置に基づき、分割規則を適応的に決定することができる。映像復号装置１００は、符号化単位が映像で占める位置に基づき、分割規則を適応的に決定することができる。

【0184】

また、映像復号装置１００は、互いに異なる分割経路によって生成された符号化単位が同一ブロック形態を有さないように、分割規則を決定することができる。ただし、それに限定されるものではなく、互いに異なる分割経路によって生成された符号化単位は、同一ブロック形態を有することができる。互いに異なる分割経路によって生成された符号化単位は、互いに異なる復号処理順序を有することができる。該復号処理順序については、図１２と共に説明したので、詳細な説明は、省略する。

【0185】

図１７は、一実施形態により、符号化単位が分割されうる形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定されうる符号化単位を図示する。

【0186】

図１７を参照すれば、映像復号装置１００は、ピクチャごとに符号化単位が分割されうる分割形態の組み合わせを異なるように決定することができる。例えば、映像復号装置１００は、映像に含まれる少なくとも１つのピクチャのうち、４個の符号化単位に分割されうるピクチャ１７００、２個または４個の符号化単位に分割されうるピクチャ１７１０、及び２個、３個または４個の符号化単位に分割されうるピクチャ１７２０を利用して映像を復号することができる。映像復号装置１００は、ピクチャ１７００を、複数個の符号化単位に分割するために、４個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置１００は、ピクチャ１７１０を分割するために、２個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。映像復号装置１００は、ピクチャ１７２０を分割するために、２個、３個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置１００の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されうると解釈されなければならない。

【0187】

一実施形態により、映像復号装置１００のビットストリーム獲得部１１０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、タイルまたはタイルグループなど）ごとに獲得することができる。例えば、ビットストリーム獲得部１１０は、シーケンスパラメータセット、ピクチャパラメータセット、スライスヘッダ、タイルヘッダまたはタイルグループヘッダにおいて、分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置１００の映像復号装置１００は、獲得したインデックスを利用し、所定データ単位ごとに、符号化単位が分割されうる分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに、互いに異なる分割形態の組み合わせを利用することができる。

【0188】

図１８は、一実施形態により、バイナリ（binary）コードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の多様な形態を図示する。

【0189】

一実施形態により、映像復号装置１００は、ビットストリーム獲得部１１０を介して獲得したブロック形態情報及び分割形態モード情報を利用し、符号化単位を多様な形態に分割することができる。分割されうる符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当しうる。

【0190】

図１８を参照すれば、映像復号装置１００は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。

【0191】

一実施形態により、映像復号装置１００が、正方形状の符号化単位を水平方向及び垂直方向に分割し、４個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態モード情報が示すことができる分割形態は、４種でもある。一実施形態により、分割形態モード情報は、２桁のバイナリコードとしても表現され、それぞれの分割形態ごとに、バイナリコードが割り当てられうる。例えば、符号化単位が分割されない場合、分割形態モード情報は、（００）ｂとも表現され、符号化単位が水平方向及び垂直方向に分割される場合、分割形態モード情報は、（０１）ｂとも表現され、符号化単位が水平方向に分割される場合、分割形態モード情報は、（１０）ｂとも表現され、符号化単位が垂直方向に分割される場合、分割形態モード情報は、（１１）ｂとも表現される。

【0192】

一実施形態により、映像復号装置１００は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態モード情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによっても決定される。図１８を参照すれば、映像復号装置１００は、一実施形態により、非正方形状の符号化単位を３個まで分割することができる。映像復号装置１００は、符号化単位を、２つの符号化単位に分割することができ、その場合、分割形態モード情報は、（１０）ｂとも表現される。映像復号装置１００は、符号化単位を３つの符号化単位に分割することができ、その場合、分割形態モード情報は、（１１）ｂとも表現される。映像復号装置１００は、符号化単位を分割しないと決定することができ、その場合、分割形態モード情報は、（０）ｂとも表現される。すなわち、映像復号装置１００は、分割形態モード情報を示すバイナリコードを利用するために、固定長コーディング（ＦＬＣ：fixed length coding）ではなく、可変長コーディング（ＶＬＣ：variable length coding）を利用することができる。

【0193】

一実施形態により、図１８を参照すれば、符号化単位が分割されないということを示す分割形態モード情報のバイナリコードは（０）ｂとも表現される。もし符号化単位が分割されないということを示す分割形態モード情報のバイナリコードが（００）ｂに設定された場合であるならば、（０１）ｂと設定された分割形態モード情報がないにもかかわらず、２ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかし、図１８に図示されているように、非正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、映像復号装置１００は、分割形態モード情報として、１ビットのバイナリコード（０）ｂを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す非正方形状の符号化単位の分割形態は、ただ図１８で図示する３種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態にも解釈されなければならない。

【0194】

図１９は、一実施形態により、バイナリコードによって表現されうる分割形態モード情報に基づいて決定されうる符号化単位の他の形態を図示する。

【0195】

図１９を参照すれば、映像復号装置１００は、分割形態モード情報に基づき、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、該分割形態モード情報は、正方形状の符号化単位が一方方向に分割されることを示すことができる。そのような場合、正方形状の符号化単位が分割されないということを示す分割形態モード情報のバイナリコードは、（０）ｂとも表現される。もし符号化単位が分割されないということを示す分割形態モード情報のバイナリコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態モード情報がないにもかかわらず、２ビットの分割形態モード情報のバイナリコードをいずれも利用しなければならない。しかし、図１９で図示されているように、正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、映像復号装置１００は、分割形態モード情報として、１ビットのバイナリコード（０）ｂを利用しても、符号化単位が分割されないということを決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態モード情報が示す正方形状の符号化単位の分割形態は、ただ図１９で図示する３種形態だけで限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。

【0196】

一実施形態により、ブロック形態情報または分割形態モード情報は、バイナリコードを利用しても表現され、そのような情報が直ちにビットストリームにも生成される。また、バイナリコードによって表現されうるブロック形態情報または分割形態モード情報は、直ちにビットストリームに生成されず、ＣＡＢＡＣ（context adaptive binary arithmetic coding）に入力されるバイナリコードとしても利用される。

【0197】

一実施形態により、映像復号装置１００は、ＣＡＢＡＣを介し、ブロック形態情報または分割形態モード情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部１１０を介し、前記シンタックスに係わるバイナリコードを含むビットストリームを獲得することができる。映像復号装置１００は、獲得したビットストリームに含まれるビンストリング（bin string）を逆二進化し、ブロック形態情報または分割形態モード情報を示すシンタックス要素（syntax element）を検出することができる。一実施形態により、映像復号装置１００は、復号するシンタックス要素に該当するバイナリビンストリングの集合を求め、確率情報を利用し、それぞれのビンを復号することができ、映像復号装置１００は、そのような復号されたビンによって構成されるビンストリングが、以前に求めたビンストリングのうち一つと同一になるまで反復することができる。映像復号装置１００は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。

【0198】

一実施形態により、映像復号装置１００は、適応的二進算術コーディング（adaptive binary arithmetic coding）の復号過程を遂行し、ビンストリングに係わるシンタックスを決定することができ、映像復号装置１００は、ビットストリーム獲得部１１０を介して獲得したビンに係わる確率モデルを更新することができる。図１８を参照すれば、映像復号装置１００のビットストリーム獲得部１１０は、一実施形態により、分割形態モード情報を示すバイナリコードを示すビットストリームを獲得することができる。獲得した１ビットまたは２ビットの大きさを有するバイナリコードを利用し、映像復号装置１００は、分割形態モード情報に係わるシンタックスを決定することができる。映像復号装置１００は、分割形態モード情報に係わるシンタックスを決定するために、２ビットのバイナリコードにおいて、それぞれのビットに係わる確率を更新することができる。すなわち、映像復号装置１００は、２ビットのバイナリコードにおいて、最初ビンの値が０または１のうちいずれの値であるかということにより、次のビンを復号するとき、０または１の値を有する確率を更新することができる。

【0199】

一実施形態により、映像復号装置１００は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程で利用されるビンに係わる確率を更新することができ、映像復号装置１００は、前記ビンストリングにおいて、特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。

【0200】

図１８を参照すれば、非正方形状の符号化単位に係わる分割形態モード情報を示すビンストリングを利用してシンタックスを決定する過程において、映像復号装置１００は、非正方形状の符号化単位を分割しない場合には、０の値を有する１つのビンを利用し、分割形態モード情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が、現在符号化単位は、非正方形状であることを示す場合、分割形態モード情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、０であり、２個または３個の符号化単位に分割される場合、１でもある。それにより、非正方形の符号化単位に係わる分割形態モード情報のビンストリングの最初ビンが０である確率は、１／３であり、１である確率は２／３でもある。前述のように、映像復号装置１００は、非正方形状の符号化単位が分割されないということを示す分割形態モード情報は、０の値を有する１ビットのビンストリングだけを表現されることができるので、映像復号装置１００は、分割形態モード情報の最初ビンが１である場合にだけ、２番目ビンが０であるか、あるいは１であるかということを判断し、分割形態モード情報に係わるシンタックスを決定することができる。一実施形態により、映像復号装置１００は、分割形態モード情報に係わる最初ビンが１である場合、２番目ビンが０または１である確率は、互いに同一である確率であることと見なし、ビンを復号することができる。

【0201】

一実施形態により、映像復号装置１００は、分割形態モード情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態により、映像復号装置１００は、非正方形ブロックの方向に沿い、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態により、映像復号装置１００は、現在符号化単位の広さまたは長辺長により、分割形態モード情報に係わるビンの確率を異なるように決定することができる。一実施形態により、映像復号装置１００は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、分割形態モード情報に係わるビンの確率を異なるように決定することができる。

【0202】

一実施形態により、映像復号装置１００は、所定サイズ以上の符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。例えば、符号化単位の長辺長を基準に、６４サンプル以上の大きさの符号化単位については、分割形態モード情報に係わるビンの確率が同一であると決定することができる。

【0203】

一実施形態により、映像復号装置１００は、分割形態モード情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ（例えば、Ｉスライス、ＰスライスまたはＢスライス）に基づいても決定される。

【0204】

図２０は、ループフィルタリングを行う映像符号化システム及び映像復号システムのブロック図を示した図面である。

【0205】

映像符号化システム及び映像復号システム２０００の符号化端２０１０は、映像の符号化されたビットストリームを伝送し、復号端２０５０は、ビットストリームを受信して復号することによって復元映像を出力する。ここで、符号化端２０１０は、後述する映像符号化装置２００に類似した構成でもあり、復号端２０５０は、映像復号装置１００に類似した構成でもある。

【0206】

符号化端２０１０において、予測符号化部２０１５は、インター予測及びイントラ予測を介して予測データを出力し、変換及び量子化部２０２０は、予測データと現在入力映像とのレジデュアルデータの量子化された変換係数を出力する。エントロピー符号化部２０２５は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部２０３０を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部２０３５及びループフィルタリング部２０４０を経て、復元映像として出力される。該復元映像は、予測符号化部２０１５を経て、次の入力映像の参照映像にも使用される。

【0207】

復号端２０５０に受信されたビットストリームにおいて符号化された映像データは、エントロピー復号部２０５５及び逆量子化及び逆変換部２０６０を経て、空間領域のレジデュアルデータに復元される。予測復号部２０７５から出力された予測データと、レジデュアルデータとが組み合わされ、空間領域の映像データが構成され、デブロッキングフィルタリング部２０６５及びループフィルタリング部２０７０は、空間領域の映像データに対してピルトリングを行い、現在原本映像に係わる復元映像を出力することができる。該復元映像は、予測復号部２０７５により、次の原本映像に係わる参照映像としても利用される。

【0208】

符号化端２０１０のループフィルタリング部２０４０は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループフィルタリングを行う。ループフィルタリング部２０４０によって使用されたフィルタ情報は、エントロピー符号化部２０２５に出力され、符号化された映像データと共に、復号端２０５０に伝送される。復号端２０５０のループフィルタリング部２０７０は、復号端２０５０から入力されたフィルタ情報に基づき、ループフィルタリングを行うことができる。

【0209】

前述の多様な実施形態は、映像復号装置１００が遂行する映像復号方法と係わる動作について説明したものである。以下においては、そのような映像復号方法に逆順の過程に該当する映像符号化方法を遂行する映像符号化装置２００の動作について、多様な実施形態を介して説明する。

【0210】

図２は、一実施形態により、ブロック形態情報及び分割形態モード情報のうち少なくとも一つに基づき、映像を符号化することができる映像符号化装置２００のブロック図を図示する。

【0211】

映像符号化装置２００は、符号化部２２０及びビットストリーム生成部２１０を含んでもよい。符号化部２２０は、入力映像を受信し、入力映像を符号化することができる。符号化部２２０は、入力映像を符号化し、少なくとも１つのシンタックスエレメントを獲得することができる。該シンタックスエレメントは、skip flag、prediction mode、motion vector difference、motion vector prediction method (or index)、transform quantized coefficient、coded block pattern、coded block flag、intra prediction mode、direct flag、merge flag、delta ＱＰ、reference index、prediction direction、transform indexのうち少なくとも一つを含んでもよい。符号化部２２０は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを含むブロック形態情報に基づき、コンテクストモデルを決定することができる。

【0212】

ビットストリーム生成部２１０は、符号化された入力映像に基づき、ビットストリームを生成することができる。例えば、ビットストリーム生成部２１０は、コンテクストモデルに基づき、シンタックスエレメントをエントロピー符号化することにより、ビットストリームを生成することができる。また、映像符号化装置２００は、ビットストリームを映像復号装置１００に伝送することができる。

【0213】

一実施形態により、映像符号化装置２００の符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、または非正方形であるかという形態を有することができ、そのような形態を示す情報は、ブロック形態情報にも含まれる。

【0214】

一実施形態により、符号化部２２０は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部２２０は、符号化単位に含まれる少なくとも１つの符号化単位の形態を決定することができ、ビットストリーム生成部２１０は、そのような符号化単位の形態に係わる情報を含む分割形態モード情報を含むビットストリームを生成することができる。

【0215】

一実施形態により、符号化部２２０は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部２２０が、符号化単位に１つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部２１０は、符号化単位が分割されないということを示す分割形態モード情報を含むビットストリームを生成することができる。また、符号化部２２０は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部２１０は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態モード情報を含むビットストリームを生成することができる。

【0216】

一実施形態により、符号化単位を、いくつの符号化単位に分割するかということを示すか、あるいはどの方向に分割するかということを示す情報が、分割形態モード情報に含まれるのである。例えば、該分割形態モード情報は、垂直方向及び水平方向のうち少なくとも１つの方向に分割することを示すか、あるいは分割しないということを示すことができる。

【0217】

映像符号化装置２００は、符号化単位の分割形態モードに基づき、分割形態モードに係わる情報を決定する。映像符号化装置２００は、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルを決定する。そして、映像符号化装置２００は、コンテクストモデルに基づき、符号化単位を分割するための分割形態モードに係わる情報をビットストリームとして生成する。

【0218】

映像符号化装置２００は、コンテクストモデルを決定するために、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つと、コンテクストモデルに係わるインデックスとを対応させるための配列を獲得することができる。映像符号化装置２００は、該配列において、符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つに基づき、コンテクストモデルに係わるインデックスを獲得することができる。映像符号化装置２００は、コンテクストモデルに係わるインデックスに基づき、コンテクストモデルを決定することができる。

【0219】

映像符号化装置２００は、コンテクストモデルを決定するために、符号化単位に隣接した周辺符号化単位の形態、方向、幅及び高さの比率、または大きさのうち少なくとも一つを含むブロック形態情報にさらに基づき、コンテクストモデルを決定することができる。また、該周辺符号化単位は、符号化単位の左下側、左側、左上側、上側、右上側、右側または右下側に位置した符号化単位のうち少なくとも一つを含んでもよい。

【0220】

また、映像符号化装置２００は、コンテクストモデルを決定するために、上側周辺符号化単位の幅の長さと、符号化単位の幅の長さとを比較することができる。また、映像符号化装置２００は、左側及び右側の周辺符号化単位の高さの大きさと、符号化単位の高さの大きさとを比較することができる。また、映像符号化装置２００は、比較結果に基づき、コンテクストモデルを決定することができる。

【0221】

映像符号化装置２００の動作は、図３ないし図２０で説明したビデオ復号装置１００の動作と類似した内容を含んでいるので、詳細な説明は、省略する。

【0222】

以下においては、図２１ないし図３０を参照し、三角予測モードを介し、映像を符号化及び復号する映像符号化装置２９００と映像復号装置２１００とについて説明する。

【0223】

図２１は、一実施形態による映像復号装置２１００の構成を図示するブロック図である。

【0224】

図２１を参照すれば、一実施形態による映像復号装置２１００は、エントロピー復号部２１１０及び予測復号部２１３０を含んでもよい。

【0225】

エントロピー復号部２１１０及び予測復号部２１３０は、図１に図示された復号部１２０に対応しうる。また、エントロピー復号部２１１０及び予測復号部２１３０は、図２０に図示されたエントロピー復号部２０５５及び予測復号部２０７５のそれぞれに対応しうる。図２１には、図示されていないが、一実施形態による映像復号装置２１００は、映像の符号化結果として生成されたビットストリームを獲得するビットストリーム獲得部をさらに含んでもよい。

【0226】

一実施形態による、エントロピー復号部２１１０及び予測復号部２１３０は、少なくとも１つのプロセッサによっても具現される。映像復号装置２１００は、エントロピー復号部２１１０及び予測復号部２１３０の入出力データを保存する１以上のメモリ（図示せず）を含んでもよい。また、映像復号装置２１００は、メモリ（図示せず）のデータ入出力を制御するメモリ制御部（図示せず）を含むのである。

【0227】

エントロピー復号部２１１０は、ビットストリームに含まれた二進値をエントロピー復号し、シンタックスエレメントに対応する値を獲得する。エントロピー復号部２１１０は、コンテクスト基盤適応的二進算術コーディング（ＣＡＢＡＣ：context-based adaptive binary arithmetic coding）によってビットストリームを復号することができる。

【0228】

該ビットストリームは、現在ブロックの復元に利用される情報を含むものである。現在ブロックは、映像から、ツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位のようなブロックに対応しうる。

【0229】

予測復号部２１３０は、シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ及びスライスセグメントヘッダのうち少なくとも１つのレベルに対応するビットストリームに含まれたブロック形態情報及び／または分割形態モード情報に基づき、現在ブロックを決定することができる。

【0230】

該ビットストリームは、現在ブロックの予測モードを示す情報を含むものである。現在ブロックの予測モードは、イントラモード、インターモードなどを含むものである。該インターモードは、映像間の時間的重複性を低減させるために、参照映像に基づき、現在ブロックを予測及び復元するモードである。該インターモードは、後述するレギュラーマージモード（regular merge mode）、残差動きベクトル（differential motion vector）を利用するマージモード、三角予測モード（triangle prediction mode）などを含んでもよい。

【0231】

予測復号部２１３０は、現在ブロックの予測モードが決定されれば、決定された予測モードにより、現在ブロックを復元する。復元されたブロック（reconstructed block）は、その後に復号されるブロックの参照ブロックにもなる。

【0232】

一実施形態による映像復号方法においては、現在ブロックを、三角予測モードによって復元することができるが、該三角予測モードは、現在ブロックを２つの三角パーティションに分割し、分割された２つの三角パーティションに対応する予測ブロックを、分割形態によって結合し、最終予測ブロックを生成し、最終予測ブロックを基に、現在ブロックを復元するモードである。一例として、予測復号部２１３０は、最終予測ブロックを、復元されたブロックと決定することができる。他の例として、ビットストリームから獲得される残差データと、最終予測ブロックとを結合した結果が、復元されたブロックとも決定される。

【0233】

三角予測モードにより、現在ブロックを２つの三角パーティションに分割するということは、図２７などを参照して後述するように、２つの三角パーティションに対応する予測ブロックの結合方式を決定するためである。従って、現在ブロックを２つの三角パーティションに分割するということは、２つの三角パーティションに対応する予測ブロックの結合方式を決定する過程とも理解される。

【0234】

現在ブロックにつき、三角予測モードが適用されれば、四角形の現在ブロックを、２つの三角パーティションに分割しなければならないが、そのような制限により、現在ブロックにつき、三角予測モード適用がビットレート側面で不利でもある。言い換えれば、現在ブロックを、三角予測モードによって復元するならば、ビットストリームから、三角予測モード関連情報を獲得しなければならないが、三角予測モードを適用してはならない状況においても、三角予測モード関連情報がビットストリームに含まれることにより、不要なビット個数が増えてしまうためである。

【0235】

従って、一実施形態において、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得するか否かということを所定条件に基づいて判断し、所定条件を満足した場合にのみ、ビットストリームから、三角予測モード関連情報をエントロピー復号することができる。反対に、所定条件を満足しない場合には、三角予測モード関連情報のエントロピー復号を行わないのである。映像符号化装置２９００も、現在ブロックにつき、三角予測モードを適用するか否かということを、所定条件に基づいて決定することができるので、所定条件を満足しない場合には、三角予測モード関連情報をビットストリームに含めないのである。

【0236】

エントロピー復号部２１１０がビットストリームから獲得する三角予測モード関連情報は、三角予測モードの適用いかん、分割形態情報、及び三角パーティションのための動きベクトルを示す情報を含むものである。一実施形態において、エントロピー復号部２１１０は、所定条件を満足すれば、三角予測モードが現在ブロックに適用されると決定し、ビットストリームから、三角予測モード関連情報として、分割形態情報と、三角パーティションのための動きベクトルを示す情報とを獲得することもできる。

【0237】

第１の実施形態において、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さが第１臨界値より小さく、現在ブロックの幅が第１臨界値より小さい場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さまたは幅が、第１臨界値以上である場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得しないのである。また、例えば、現在ブロックの高さまたは幅が、第１臨界値より小さい場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さと幅とがいずれも第１臨界値以上である場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0238】

第１の実施形態は、大サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。大サイズの現在ブロックから獲得される２つの三角パーティションも、その大きさが大きいので、現在ブロックをクアッド分割やターナリ分割を行うときに比べ、最終予測ブロックと現在ブロックとの同一性が小さくなってしまう。従って、第１の実施形態においては、現在ブロックの大きさが第１臨界値以上である場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、ビットストリームから、三角予測モード関連情報をパージングしないのである。

【0239】

第２の実施形態において、エントロピー復号部２１１０は、現在ブロックの大きさと、第２臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とを乗じた値が、第２臨界値以上であるならば、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さと幅とを乗じた値が、第２臨界値より小さい場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得しないのである。また、例えば、現在ブロックの高さと幅とがいずれも第２臨界値以上であるならば、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、現在ブロックの高さまたは幅が、第２臨界値より小さい場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0240】

前記第２臨界値は、第１の実施形態と係わって説明した第１臨界値よりも小さい。例えば、第１臨界値が１２８であるならば、第２臨界値は、６４でもある。一具現例によって、第２臨界値と第１臨界値は、同一でもある。例えば、第１臨界値と第２臨界値は、いずれも６４でもある。

【0241】

第２の実施形態は、小サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。過度に小さい大きさの現在ブロックを２つの三角パーティションに分割する場合、符号化効率に比べ、符号化及び復号プロセスの複雑度が高くなるためである。従って、第２の実施形態においては、現在ブロックの大きさが第２臨界値より小さい場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、ビットストリームから、三角予測モード関連情報をパージングしないのである。

【0242】

第３の実施形態において、エントロピー復号部２１１０は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、エントロピー復号部２１１０は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0243】

該インター・イントラ結合モードは、参照映像内において、現在ブロックの動きベクトルが示す予測ブロックと、現在映像内ピクセルから獲得される予測ブロックとを結合し、現在ブロックを復元するモードである。すなわち、インターモードによって獲得される予測ブロックと、イントラモードによって獲得される予測ブロックとを結合し、現在ブロックを復元する。

【0244】

既存のインターモードにより、現在ブロックを分割せずに符号化するか、あるいは現在ブロックを分割した後、符号化する場合、コスト（例えば、率・歪曲コスト（rate-distortion cost））が大きければ、現在ブロックの予測モードとして、インター・イントラ結合モードが適用されうる。すなわち、現在ブロックにつき、インター・イントラ結合モードが適用されたということは、現在ブロックをパーティションしても、符号化効率が良好ではないということを意味しうるので、エントロピー復号部２１１０は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックのパーティションを必要とする三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0245】

第４の実施形態において、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。反対に、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、三角予測モード関連情報を、ビットストリームから獲得することができる。

【0246】

マージモードについてまず説明すれば、該マージモードは、現在ブロックの動きベクトルを決定するために、まず、符号化または復号されたブロックの動きベクトルを含むマージリストを構築し、該マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルと決定するモードである。映像符号化装置２９００は、該マージリストに含まれた動きベクトルのうち、現在ブロックの動きベクトルに利用される動きベクトルを示すインデックスのみを映像復号装置２１００に伝送し、映像復号装置２１００は、受信されたインデックスにより、現在ブロックの動きベクトルを復元することができる。すなわち、インデックスだけで、動きベクトルの符号化が可能であるので、ビットレート側面で効率が良好である。映像復号装置２１００は、映像符号化装置２９００から受信されたインデックスにより、現在ブロックの動きベクトルを獲得し、獲得した動きベクトルが示す予測ブロックに基づき、復元ブロックを決定することができる。

【0247】

残差動きベクトルを利用するマージモードにおいては、マージモードでのように、マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルとして決定するが、現在ブロックの実際の動きベクトルと、マージリストから選択された動きベクトルとの残差動きベクトルが、映像復号装置２１００でシグナリングされるという点で違いがある。該残差動きベクトルは、変移距離及び変移方向によっても表現される。すなわち、映像符号化装置２９００は、残差動きベクトルを示す変移距離と変移方向とを示す情報と、マージリストに含まれた動きベクトルのうちいずれか一つを示すインデックスと、を映像復号装置２１００に伝送し、映像復号装置２１００は、マージリストに含まれた動きベクトルのうち、インデックスが示す動きベクトルを選択し、選択した動きベクトルを、変移距離及び変移方向に沿って変更し、現在ブロックの動きベクトルを決定することができる。

【0248】

現在ブロックにつき、残差動きベクトルを利用するマージモードが適用されたということは、現在ブロックをパーティショニングする必要なしに、マージリストに含まれた動きベクトルを利用し、符号化／復号することが効率が良好であるということを意味する。従って、エントロピー復号部２１１０は、現在ブロックにつき、残差動きベクトルを利用するマージモードが適用された場合には、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0249】

エントロピー復号部２１１０は、前述の第１の実施形態、第２の実施形態、第３の実施形態、及び第４の実施形態で説明した条件を結合し、三角予測モード関連情報を、ビットストリームから獲得するか否かということを決定することもできる。

【0250】

一例として、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの大きさと、第２臨界値との比較結果が、所定条件を満足すれば、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの高さと幅とを乗じた結果が、第２臨界値以上である場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。

【0251】

他の例として、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。

【0252】

さらに他の例として、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さまたは幅が、第１臨界値以上であるや、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0253】

さらに他の例として、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値との比較結果、現在ブロックの大きさと、第２臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、三角予測モード関連情報を、ビットストリームから獲得することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの高さと幅とを乗じた値が第２臨界値以上であり、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、エントロピー復号部２１１０は、三角予測モード関連情報を、ビットストリームから獲得することができる。

【0254】

図２２は、一実施形態による、三角予測モード関連情報をパージングするためのシンタックス構造を示す例示的な図面である。

【0255】

Ｓ２２０１において、エントロピー復号部２１１０は、現在モードの予測モードが、レギュラーマージモードであるか否かということを判断する。該レギュラーマージモードは、現在ブロックの動きベクトルを決定するために、まず符号化または復号されたブロックの動きベクトルを含むマージリストを構築し、マージリストに含まれた動きベクトルのうちいずれか一つを、現在ブロックの動きベクトルとして決定するモードである。また、レギュラーマージモードは、三角予測モード関連情報を利用せず、マージリストに含まれた動きベクトルの中でいずれか一つが示す予測ブロックから、現在ブロックを復元するモードでもある。現在モードの予測モードが、レギュラーマージモードであるならば、現在ブロックの動きベクトルを示すインデックス（merge＿ｉｄｘ）により、マージリストに含まれた動きベクトルのうちいずれか一つを選択し、選択された動きベクトルが示す予測ブロックに基づき、復元ブロックが生成されうる。該レギュラーマージモードは、現在ブロック復元にあたり、現在ブロックを２つの三角パーティションに分割しないという点において、三角予測モードと違いがある。すなわち、レギュラーマージモードにおいては、三角パーティションの形態に係わる考慮なしに、予測ブロックから現在ブロックを復元する。

【0256】

Ｓ２２０２において、エントロピー復号部２１１０は、現在モードの予測モードがレギュラーモードであるならば、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるか否かということを示すフラグ（ｍｍｖｄ＿merge＿flag）をビットストリームから獲得する。

【0257】

Ｓ２２０３において、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、マージリストに含まれた動きベクトルのうちいずれか一つを示す情報（ｍｍｖｄ＿ｃａｎｄ＿flag）をビットストリームから獲得し、残差動きベクトルを示す情報として、変移距離に係わる情報（ｍｍｖｄ＿distance＿ｉｄｘ）、及び変移方向に係わる情報（ｍｍｖｄ＿direction＿ｉｄｘ）をビットストリームから獲得する。予測復号部２１３０は、ｍｍｖｄ＿ｃａｎｄ＿flag、ｍｍｖｄ＿distance＿ｉｄｘ及びｍｍｖｄ＿direction＿ｉｄｘを利用し、残差動きベクトルを利用するマージモードにより、現在ブロックを復元する。

【0258】

Ｓ２２０４において、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、すなわち、現在ブロックの予測モードが、レギュラーマージモードである場合、マージリストに含まれた動きベクトルのうちいずれか一つを示す情報（merge＿ｉｄｘ）をビットストリームから獲得する。予測復号部２１３０は、merge＿ｉｄｘを利用し、レギュラーマージモードにより、現在ブロックを復元する。

【0259】

Ｓ２２０５において、エントロピー復号部２１１０は、さまざまな変数（ｓｐｓ＿ｃｉｉｐ＿enabled＿flag，ｓｐｓ＿triangle＿enabled＿flag，ＭａｘＮｕｍＴｒｉａｎｇｌｅＭｅｒｇｅＣａｎｄ，silce＿type，ｃｕ＿ｓｋｉｐ＿flag）の値が所定条件を満足するか否かということを判断する。また、エントロピー復号部２１１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの大きさと、第２臨界値との比較結果とが所定条件を満足するか否かということを判断する。特に、条件Ａを見れば、エントロピー復号部２１１０は、現在ブロックの幅（ｃｂＷｉｄｔｈ）と高さ（ｃｂＨｅｉｇｈｔ）とを乗じた値が６４以上であり、現在ブロックの幅（ｃｂＷｉｄｔｈ）と高さ（ｃｂＨｅｉｇｈｔ）とがいずれも１２８より小さい場合、Ｓ２２０６において、現在ブロックの予測モードが、インター・イントラ結合モードであるか否かということを示すフラグ（ｃｉｉｐ＿flag）をビットストリームから獲得する。現在ブロックの予測モードが、インター・イントラ結合モードである場合、予測復号部２１３０は、インター・イントラ結合モードにより、参照映像内で獲得される予測ブロックと、現在映像内で獲得される予測ブロックとを結合し、現在ブロックを復元する。

【0260】

Ｓ２２０７において、エントロピー復号部２１１０は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、三角予測モード関連情報として、現在ブロックの分割形態を示す情報（merge＿triangle＿split＿ｄｉｒ）、三角予測モードのためのマージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを示す情報（merge＿triangle＿ｉｄｘ０，merge＿triangle＿ｉｄｘ１）をビットストリームから獲得する。

【0261】

現在ブロックの分割形態を示す情報は、現在ブロックを、左上側コーナーから右下側コーナーに沿って分割しなければならないか、あるいは現在ブロックの右上側コーナーから左下側コーナーに沿って分割しなければならないかということを示すことができる。

【0262】

図２２において、三角予測モード関連情報（merge＿triangle＿split＿ｄｉｒ，merge＿triangle＿ｉｄｘ０、merge＿triangle＿ｉｄｘ１）がビットストリームから獲得されない条件について述べれば、まず、Ｓ２２０２において、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、三角予測モード関連情報がビットストリームから獲得されない。また、Ｓ２２０５において、現在ブロックの幅と高さとを乗じた値が６４より小さいか、現在ブロックの幅が１２８以上であるか、あるいは現在ブロックの高さが１２８以上である場合、三角予測モード関連情報は、ビットストリームから獲得されない。また、Ｓ２２０７において、現在ブロックの予測モードが、インター・イントラ結合モードである場合、三角予測モード関連情報がビットストリームから獲得されない。

【0263】

以下においては、現在ブロックの予測モードが三角予測モードであり、エントロピー復号部２１１０が、ビットストリームから、三角予測モード関連情報を獲得した場合、予測復号部２１３０が三角予測モードにより、現在ブロックを復元する方法について、図２３ないし図２７を参照して説明する。

【0264】

図２３は、レギュラーマージモードにおけるマージリスト構築方法について説明するための図面である。

【0265】

一実施形態において、予測復号部２１３０は、現在ブロック２３１０の予測モードが三角予測モードであるならば、レギュラーマージモードにおけるマージリスト構築方法により、レギュラーマージモードのためのマージリストを構築し、レギュラーマージモードのためのマージリストを利用し、三角予測モードのためのマージリストを決定することができる。

【0266】

一実施形態において、予測復号部２１３０は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。

【0267】

他の実施形態において、予測復号部２１３０は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリストの変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。

【0268】

まず、レギュラーマージモードのためのマージリストを構築する方法について説明する。

【0269】

予測復号部２１３０は、現在ブロック２３１０と空間的に関係する空間的ブロック、及び現在ブロック２３１０と時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築することができる。該空間的ブロック及び該時間的ブロックは、現在ブロック２３１０より先に復号されたブロックを含んでもよい。

【0270】

図２３を参照すれば、時間的ブロックは、現在ブロック２３１０のＰＯＣ（picture order count）と異なるＰＯＣを有する参照映像内において、現在ブロック２３１０と同一地点に位置するブロックＣｏｌと、同一位置のブロックＣｏｌに対して空間的に隣接したブロックＢｒとを少なくとも一つ含むものである。ブロックＢｒは、現在ブロック２３１０と同一地点に位置するブロックＣｏｌの右側下部に位置することができる。現在ブロック２３１０と同一地点に位置するブロックＣｏｌは、参照映像に含まれたピクセルのうち、現在ブロック２３１０内中央ピクセルに対応するピクセルを含むブロックでもある。

【0271】

現在ブロック２３１０と空間的に関連する空間的ブロックは、左側下部コーナーブロックＡ０、左側下部ブロックＡ１、右側上部コーナーブロックＢ０、右側上部ブロックＢ１及び左側上部コーナーブロックＢ２のうち少なくとも一つを含んでもよい。

【0272】

図２３に図示された時間的ブロック及び空間的ブロックの位置は、１つの例示であり、具現例により、時間的ブロック、空間的ブロックの位置及び個数は、多様にも変更される。

【0273】

予測復号部２１３０は、時間的ブロック及び空間的ブロックのうち、インター予測されたブロックを利用可能なものであると判断することができる。予測復号部２１３０は、利用可能なブロックの動きベクトルを、事前に決定された順序により、マージリストに含めることができる。ある利用可能なブロックの動きベクトルが、マージリストに先に含まれた動きベクトルと同一である場合、該利用可能なブロックの動きベクトルは、マージリストに含まれないのである。

【0274】

予測復号部２１３０は、マージリストに含まれた動きベクトルの個数が、所定個数より少ない場合、マージリストに含まれた動きベクトルを組み合わせ、新たな動きベクトルを生成し、生成された動きベクトルを、マージリストに含めることができる。そして、予測復号部２１３０は、マージリストに含まれた動きベクトルの個数が、所定個数より少ない場合には、マージリストに含まれた動きベクトルの個数が所定個数になるまで、ゼロベクトルをマージリストに含めることができる。

【0275】

予測復号部２１３０は、レギュラーマージモードのためのマージリストの構築が完了すれば、レギュラーマージモードのためのマージリストを、三角予測モードのためのマージリストとして決定し、三角予測モード関連情報に基づき、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを選択することができる。

【0276】

一実施形態において、予測復号部２１３０は、レギュラーマージモードのためのマージリストの構築が完了すれば、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定し、三角予測モード関連情報に基づき、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを選択することができる。

【0277】

レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定する方法につき、図２４及び図２５を参照して説明する。

【0278】

図２４及び図２５は、レギュラーマージモードのためのマージリストから、三角予測モードのためのマージリストを構築する方法について説明するための例示的な図面である。

【0279】

まず、図２４において、左側に図示されたマージリストは、レギュラーマージモードのためのものであり、Ｂ１、Ｂ０、Ａ０、Ｂ２は、利用可能な空間的ブロックの動きベクトルを示し、Ｃｏｌは、利用可能な時間的ブロックの動きベクトルを示す。

【0280】

予測復号部２１３０は、マージリストに含まれた動きベクトルのうち、単方向の動きベクトルを三角予測モードのためのマージリストに追加する。単方向の動きベクトルとは、リスト０に含まれた参照映像内ブロックを示すか、あるいはリスト１に含まれた参照映像内ブロックを示す動きベクトルを意味する。それと対比され、双方向の動きベクトルとは、リスト０に含まれた参照映像内ブロックと、リスト１に含まれた参照映像内ブロックとを示す動きベクトルを意味する。

【0281】

Ｂ１、Ｂ０、Ａ０、Ｂ２、Ｃｏｌのうち、Ｂ１、Ａ０、Ｂ２、Ｃｏｌが単方向の動きベクトルであるならば、予測復号部２１３０は、図２４の右側に図示されているように、三角予測モードのためのマージリストに、Ｂ１、Ａ０、Ｂ２、Ｃｏｌを含める。そして、予測復号部２１３０は、三角予測モードのためのマージリストに含まれた動きベクトルの個数が、所定個数（例えば、５個）より少なければ、すでにマージリストに含まれた動きベクトルを、事前に決定された基準によって結合し、新たな双方向の動きベクトルを生成し、生成された動きベクトルをマージリストに追加する。図２４を参照すれば、Ｂ１とＡ０とを結合することによって生成された（Ｂ１＋Ａ０）が最後の候補として、マージリストに追加されたということが分かる。

【0282】

次に、図２５を参照すれば、予測復号部２１３０は、レギュラーマージモードのためのマージリストに含まれた動きベクトルのうち、その一部である事前に決定された個数の動きベクトルのみを考慮し、三角予測モードのためのマージリストを構築することができる。例えば、予測復号部２１３０は、三角予測モードのためのマージリスト構築にあたり、レギュラーマージモードのためのマージリストに含まれた５個の動きベクトルのうち、マージリストに含まれた順に、４個の動きベクトルのみを利用することができる。それにより、予測復号部２１３０は、レギュラーマージモードのためのマージリストに含まれた４個の動きベクトル、すなわち、Ｂ１、Ｂ０、Ａ０、Ｂ２のうち、単方向動きベクトルを、三角予測モードのためのマージリストに含める。Ｂ１、Ｂ０、Ａ０、Ｂ２のうちＢ１、Ａ０、Ｂ２が単方向の動きベクトルであるならば、図２５の右側に図示されているように、予測復号部２１３０は、Ｂ１、Ａ０、Ｂ２を三角予測モードのためのマージリストに含める。そして、予測復号部２１３０は、三角予測モードのためのマージリストに含まれた動きベクトルの個数が、所定個数（例えば、５個）より少なければ、すでにマージリストに含まれた動きベクトルを、事前に決定された基準によって結合し、新たな双方向の動きベクトルを生成し、生成された動きベクトルを、マージリストに追加する。図２５を参照すれば、Ｂ１とＡ０とを結合することで生成された（Ｂ１＋Ａ０）と、Ｂ１とＢ２とを結合することで生成された（Ｂ１＋Ｂ２）とがＢ２の次に三角予測モードのためのマージリストに追加されたということが分かる。

【0283】

なお、図２４及び図２５と係わり、単方向の動きベクトルの結合結果によって生成された新たな動きベクトル（Ｂ１＋Ａ０、Ｂ１＋Ｂ２など）を、三角予測モードのためのマージリストに含める場合、予測復号部２１３０は、新たな動きベクトルが、以前にマージリストに追加された動きベクトルと同じではない場合に限り、三角予測モードのためのマージリストに含めるのである。

【0284】

このとき、一実施形態において、予測復号部２１３０は、新たな動きベクトルが、以前にマージリストに追加された全ての動きベクトルと同じではない場合、新たな動きベクトルをマージリストに含めるのである。

【0285】

ただし、新たな動きベクトルと、以前にマージリストに追加された全ての動きベクトルとの同一いかんを判断する場合、符号化／復号の複雑度が増大するので、他の実施形態において、予測復号部２１３０は、新たな動きベクトルが、直前にマージリストに追加された動きベクトルと同じではない場合、新たな動きベクトルをマージリストに含めるのである。

【0286】

三角予測モードのためのマージリストの構築が完了すれば、予測復号部２１３０は、三角予測モード関連情報に基づき、三角パーティションの動きベクトルを決定する。具体的には、予測復号部２１３０は、マージリストに含まれた動きベクトルのうち、三角パーティションの動きベクトルに利用される動きベクトルを示す情報（例えば、インデックス）を獲得し、当該情報が示す動きベクトルを、三角パーティションの動きベクトルとして決定することができる。例えば、図２５を参照して説明すれば、三角パーティションの動きベクトルを示すインデックスが０と１とを示すならば、予測復号部２１３０は、Ｂ１を、ある１つの三角パーティションの動きベクトルとして、Ａ０を、他の１つの三角パーティションの動きベクトルとして決定することができる。

【0287】

三角パーティションの動きベクトルが決定されれば、予測復号部２１３０は、参照映像内において動きベクトルが示す予測ブロックを決定する。

【0288】

図２６は、現在ブロック２３１０から分割された２つの三角パーティション２３１２，２３１４に対応する予測ブロック２６１２，２６１４を決定する方法について説明するための図面であり、図２６に図示されているように、予測復号部２１３０は、第１三角パーティション２３１２の動きベクトルｍｖ１が示す第１予測ブロック２６１２と、第２三角パーティション２３１４の動きベクトルｍｖ２が示す第２予測ブロック２６１４とを獲得することができる。

【0289】

図２６は、第１予測ブロック２６１２及び第２予測ブロック２６１４が、１つの参照映像に含まれているように図示しているが、それは、１つの例示であるのみ、第１予測ブロック２６１２及び第２予測ブロック２６１４のそれぞれは、互いに異なる参照映像内に位置することもできる。

【0290】

三角パーティション２３１２，２３１４に対応する予測ブロック２６１２，２６１４が獲得されれば、予測復号部２１３０は、予測ブロック２６１２，２６１４を結合し、最終予測ブロックを生成する。それについては、図２７を参照して説明する。

【0291】

図２７は、２つの三角パーティション２３１２，２３１４に対応する予測ブロック２６１２，２６１４を結合し、最終予測ブロック２７１０を生成する方法について説明するための図面である。

【0292】

予測復号部２１３０は、第１三角パーティション２３１２及び第２三角パーティション２３１４に対応する第１予測ブロック２６１２に含まれた第１サンプル値Ｐ１と、第２予測ブロック２６１４に含まれた第２サンプル値Ｐ２とを加重和（weighted sum）し、最終予測ブロック２７１０を生成することができる。

【0293】

図２７を参照すれば、現在ブロック２３１０が、左上側コーナーと右下側コーナーとに沿い、２つの三角パーティションに分割された場合、第１予測ブロック２６１２に含まれた第１サンプル値Ｐ１と、第２予測ブロック２６１４に含まれた第２サンプル値Ｐ２との境界２３１５上に位置した第１サンプル値Ｐ１及び第２サンプル値Ｐ２は、（４／８、４／８）の加重値を適用して合わせる。そして、境界２３１５から右上側コーナー方向に行くほど、第１サンプル値Ｐ１にさらに高い加重値を適用し、境界２３１５から左下側コーナー方向に行くほど、第２サンプル値Ｐ２にさらに高い加重値を適用することができる。最終予測ブロック２７１０のサンプルのうち、右上側コーナーに隣接したサンプルには、第１サンプル値Ｐ１が割り当てられ、最終予測ブロック２７１０のサンプルのうち、左下側コーナーに隣接したサンプルには、第２サンプル値Ｐ２が割り当てられる。

【0294】

図２６及び図２７と係わり、現在ブロック２３１０が、左上側コーナーと右下側コーナーとを中心に、２つの三角パーティションに分割された場合について説明したが、現在ブロック２３１０が、右上側コーナーと左下側コーナーとを中心に、２つの三角パーティションに分割された場合にも、同一方式で最終予測ブロックが生成されうる。

【0295】

図２８は、一実施形態による映像復号方法を示すフローチャートである。

【0296】

Ｓ２８１０段階において、映像復号装置２１００は、現在映像から分割された現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得する。

【0297】

映像復号装置２１００は、現在ブロックの大きさと、第１臨界値との比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。具体的には、映像復号装置２１００は、現在ブロックの幅が第１臨界値より小さく、現在ブロックの高さが第１臨界値より小さい場合、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、映像復号装置２１００は、現在ブロックの幅が第１臨界値以上であるか、あるいは現在ブロックの高さが第１臨界値以上である場合、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0298】

一実施形態において、映像復号装置２１００は、現在ブロックの大きさと、第２臨界値とを比較し、比較結果が所定条件を満足すれば、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することもできる。具体的には、映像復号装置２１００は、現在ブロックの幅と高さとの積が第２臨界値以上であるならば、三角予測モード関連情報を、ビットストリームから獲得することができる。反対に、映像復号装置２１００は、現在ブロックの幅と高さとの積が第２臨界値より小さければ、三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0299】

映像復号装置２１００は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得し、反対に、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得しないのである。

【0300】

また、映像復号装置２１００は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得しないのである。反対に、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、現在ブロックのための三角予測モード関連情報を、ビットストリームから獲得することができる。

【0301】

該三角予測モード関連情報は、現在ブロックにつき、三角予測モードが適用されるか否かということを示す情報、現在ブロックの分割形態を示す情報、及び三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。現在ブロックの分割形態を示す情報は、現在ブロックの左上側コーナーと右下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないか、現在ブロックの右上側コーナーと左下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないかということを示すことができる。

【0302】

Ｓ２８２０段階において、映像復号装置２１００は、現在ブロックを三角パーティションに分割せずに復元するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する。

【0303】

一実施形態において、映像復号装置２１００は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。

【0304】

他の実施形態において、映像復号装置２１００は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリスト変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。

【0305】

該レギュラーマージモードにおけるマージリスト構築方法は、現在ブロックと空間的に関係する空間的ブロック、及び現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。

【0306】

Ｓ２８３０段階において、映像復号装置２１００は、三角予測モード関連情報により、現在ブロックを２つの三角パーティションに分割する。映像復号装置２１００は、現在ブロックの左上側コーナーから現在ブロックの右下側コーナーに沿い、現在ブロックを分割するか、あるいは現在ブロックの右上側コーナーから現在ブロックの左下側コーナーに沿い、現在ブロックを分割することができる。三角予測関連モードにより、現在ブロックを２つの三角パーティションに分割するということは、２つの三角パーティションに対応する予測ブロックの結合方式を決定するためである。従って、現在ブロックを２つの三角パーティションに分割するという段階は、２つの三角パーティションに対応する予測ブロックの結合方式を決定する段階とも理解される。

【0307】

Ｓ２８４０段階で、映像復号装置２１００は、三角予測モードのためのマージリストに含まれた動きベクトルのうち、三角予測モード関連情報に含まれた動きベクトルを示す情報により、２つの三角パーティションのための動きベクトルを選択する。

【0308】

Ｓ２８５０段階において、映像復号装置２１００は、２つの三角パーティションのための動きベクトルが示す予測ブロックを参照映像から獲得する。

【0309】

Ｓ２８６０段階において、映像復号装置２１００は、２つの三角パーティションに対応する予測ブロックを結合する。そして、映像復号装置２１００は、予測ブロックの結合結果によって生成された最終予測ブロックに基づき、現在ブロックを復元する。

【0310】

一実施形態において、映像復号装置２１００は、最終予測ブロックを、復元ブロックとして決定することができる。他の実施形態において、映像復号装置２１００は、ビットストリームに含まれた情報に基づき、獲得される残差ブロックと最終予測ブロックとを結合し、結合されたブロックを、復元ブロックとして決定することもできる。

【0311】

図２９は、一実施形態による映像符号化装置２９００の構成を示すブロック図である。

【0312】

図２９を参照すれば、映像符号化装置２９００は、予測符号化部２９１０及びエントロピー符号化部２９３０を含んでもよい。予測符号化部２９１０及びエントロピー符号化部２９３０は、図２に図示された符号化部２２０及びビットストリーム生成部２１０のそれぞれに対応しうる。また、予測符号化部２９１０及びエントロピー符号化部２９３０は、図２０に図示された予測符号化部２０１５及びエントロピー符号化部２０２５のそれぞれに対応しうる。

【0313】

一実施形態による、予測符号化部２９１０及びエントロピー符号化部２９３０は、少なくとも１つのプロセッサによっても具現される。映像符号化装置２９００は、予測符号化部２９１０及びエントロピー符号化部２９３０の入出力データを保存する１以上のメモリ（図示せず）を含んでもよい。また、映像符号化装置２９００は、メモリ（図示せず）のデータ入出力を制御するメモリ制御部（図示せず）を含んでもよい。

【0314】

予測符号化部２９１０は、現在ブロックの予測モードを決定する。予測符号化部２９１０は、現在ブロックの予測モードを、レギュラーマージモード、残差動きベクトルを利用したマージモード、インター・イントラ結合モード、三角予測モード、またはイントラモードと決定することができる。

【0315】

予測符号化部２９１０は、現在ブロックを、三角予測モードによって符号化することができる。具体的には、予測符号化部２９１０は、現在ブロックの予測モードが三角予測モードと決定されれば、三角予測モードのためのマージリストを構築する。三角予測モードのためのマージリストを構築する方法については、図２３ないし図２５と係わって説明したところと同一であるので、詳細な説明を省略する。そして、予測符号化部２９１０は、現在ブロックを２つの三角パーティションに分割し、マージリストに含まれた動きベクトルのうち、２つの三角パーティションの動きベクトルに利用される動きベクトルを選択する。予測符号化部２９１０は、三角予測モード関連情報、具体的には、２つの三角パーティションの動きベクトルを示す情報、及び現在ブロックの分割形態を示す情報を映像復号装置２１００にシグナリングする。

【0316】

一定の場合、現在ブロックを三角予測モードを符号化することが、符号化効率側面において良好でもないので、その場合にも、三角予測モード関連情報をビットストリームに含めるならば、不要なビット個数が増えてしまう。

【0317】

従って、一実施形態においては、三角予測モード関連情報の生成前、現在ブロックを三角予測モードによって符号化することが適切であるか否かということを、所定条件に基づいてまず判断し、該判断結果により、適応的に三角予測モード関連情報の生成いかんを決定することができる。

【0318】

第１の実施形態において、予測符号化部２９１０は、現在ブロックの大きさと、第１臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さが第１臨界値より小さく、現在ブロックの幅が第１臨界値より小さい場合、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さまたは幅が第１臨界値以上である場合、予測符号化部２９１０は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。また、例えば、現在ブロックの高さまたは幅が第１臨界値より小さい場合、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さと幅とがいずれも第１臨界値以上である場合、予測符号化部２９１０は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。

【0319】

第１の実施形態は、大サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。大サイズの現在ブロックから獲得される２つの三角パーティションもその大きさが大きいので、現在ブロックに対し、クアッド分割やターナリ分割を行うときに比べ、最終予測ブロックと現在ブロックとの同一性が低くなってしまう。従って、第１の実施形態においては、現在ブロックの大きさが第１臨界値以上である場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、三角予測モード関連情報を生成しないのである。

【0320】

第２の実施形態において、予測符号化部２９１０は、現在ブロックの大きさと、第２臨界値とを比較し、該比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さと幅とを乗じた値が第２臨界値以上であるならば、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さと幅とを乗じた値が第２臨界値より小さい場合、予測符号化部２９１０は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。また、例えば、現在ブロックの高さと幅とがいずれも第２臨界値以上であるならば、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、現在ブロックの高さまたは幅が第２臨界値より小さい場合、予測符号化部２９１０は、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。

【0321】

前記第２臨界値は、第１の実施形態と係わって説明した第１臨界値よりも小さい。例えば、第１臨界値が１２８であるならば、第２臨界値は、６４でもある。具現例により、第２臨界値と第１臨界値は、同一でもある。例えば、第１臨界値と第２臨界値は、いずれも６４でもある。

【0322】

第２の実施形態は、小サイズの現在ブロックにつき、三角予測モードが適用されることを制限するためである。過度に小さい大きさの現在ブロックを２つの三角パーティションに分割する場合、符号化効率に比べ、符号化及び復号プロセスの複雑度が高くなるためである。従って、第２の実施形態においては、現在ブロックの大きさが第２臨界値より小さい場合には、現在ブロックにつき、三角予測モードが適用されないと決定し、三角予測モード関連情報を生成しないのである。

【0323】

第３の実施形態において、予測符号化部２９１０は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、予測符号化部２９１０は、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。

【0324】

既存のインターモードにより、現在ブロックが分割せずに符号化するか、あるいは現在ブロックが分割した後、符号化する場合、コスト（例えば、率・歪曲コスト）が大きければ、現在ブロックの予測モードとして、インター・イントラ結合モードが適用されうる。すなわち、現在ブロックにつき、インター・イントラ結合モードが適用されたということは、現在ブロックをパーティションしても、符号化効率が良好ではないということを意味しうるので、予測符号化部２９１０は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合にのみ、現在ブロックの予測モードを三角予測モードに決定し、三角予測モード関連情報を生成することができるのである。

【0325】

第４の実施形態において、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックを、三角予測モードによって符号化するか否かということを判断しないのである。反対に、エントロピー復号部２１１０は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、現在ブロックの予測モードを三角予測モードに決定することができる。

【0326】

現在ブロックにつき、残差動きベクトルを利用するマージモードが適用されたということは、現在ブロックをパーティショニングする必要なしに、マージリストに含まれた動きベクトルを利用し、符号化／復号することが効率が良好であるということを意味する。従って、予測符号化部２９１０は、現在ブロックにつき、残差動きベクトルを利用するマージモードが適用された場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。

【0327】

予測符号化部２９１０は、前述の第１の実施形態、第２の実施形態、第３の実施形態、及び第４の実施形態で説明した条件を結合し、現在ブロックを三角予測モードによって符号化するか否かということを判断することもできる。

【0328】

一例として、予測符号化部２９１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの大きさと、第２臨界値との比較結果とが所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの高さと幅とを乗じた結果が第２臨界値以上である場合、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。

【0329】

他の例として、予測符号化部２９１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。

【0330】

さらに他の例として、予測符号化部２９１０は、現在ブロックの大きさと、第１臨界値との比較結果と、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードであるということを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さまたは幅が第１臨界値以上であるか、あるいは現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合、予測符号化部２９１０は、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。

【0331】

さらに他の例として、予測符号化部２９１０は、現在ブロックの大きさと、第１臨界値との比較結果、現在ブロックの大きさと、第２臨界値との比較結果と、現在ブロックの予測モードが、インター・イントラ結合モードであるということとを考慮し、現在ブロックを三角予測モードによって符号化するか否かということを判断することができる。例えば、現在ブロックの高さと幅とが第１臨界値より小さく、現在ブロックの高さと幅とを乗じた値が第２臨界値以上であり、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、予測符号化部２９１０は、現在ブロックの予測モードを三角予測モードに決定することができる。

【0332】

一実施形態において、予測符号化部２９１０は、図２２に図示されたシンタックス構造により、シンタックスエレメント（ｍｍｖｄ＿merge＿flag，ｍｍｖｄ＿ｃａｎｄ＿flag，ｍｍｖｄ＿distance＿ｉｄｘ，ｍｍｖｄ＿direction＿ｉｄｘ，merge＿ｉｄｘ，ｃｉｉｐ＿flag，merge＿triangle＿split＿ｄｉｒ，merge＿triangle＿ｉｄｘ０，merge＿triangle＿ｉｄｘ１）を生成することができる。該シンタックスエレメントは、エントロピー符号化部２９３０によるエントロピー符号化を経て、ビットストリームに含まれるのである。

【0333】

エントロピー符号化部２９３０は、シンタックスエレメントに該当する値をエントロピー符号化し、ビットストリームを生成する。エントロピー符号化部２９３０は、シンタックスエレメントに該当する値を、コンテクスト基盤適応的二進算術コーディング（ＣＡＢＡＣ）によって符号化することができる。

【0334】

ビットストリームは、現在ブロックの復元に利用される情報を含んでもよい。現在ブロックは、映像からツリー構造によって分割されて生成されるブロックであり、例えば、最大符号化単位、符号化単位または変換単位のようなブロック単位に対応しうる。

【0335】

シーケンスパラメータセット、ピクチャパラメータセット、ビデオパラメータセット、スライスヘッダ及びスライスセグメントヘッダのうち少なくとも１つのレベルに対応するビットストリームには、ブロック形態情報、及び／または分割形態モードに係わる情報が含まれ、映像復号装置２１００は、ブロック形態情報、及び／または分割形態モードに係わる情報に基づき、現在映像内現在ブロックを決定することができる。

【0336】

ビットストリームは、現在ブロックの予測モードを示す情報を含んでもよい。該現在ブロックの予測モードは、レギュラーマージモード、残差動きベクトルを利用したマージモード、インター・イントラ結合モード、三角予測モード、またはイントラモードを含んでもよい。

【0337】

また、現在ブロックの予測モードが三角予測モードと決定されれば、ビットストリームは、三角予測モード関連情報を含んでもよい。該三角予測モード関連情報は、現在ブロックの予測モードが三角予測モードであるということを示す情報、現在ブロックを２つの三角パーティションに分割するための分割形態情報、及び２つの三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。

【0338】

図３０は、一実施形態による映像符号化方法を示すフローチャートである。

【0339】

Ｓ３０１０段階において、映像符号化装置２９００は、現在映像から分割された現在ブロックの予測モードを三角予測モードに決定する。

【0340】

映像符号化装置２９００は、現在ブロックの大きさと、第１臨界値との比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。具体的には、映像符号化装置２９００は、現在ブロックの幅が第１臨界値より小さく、現在ブロックの高さが第１臨界値より小さい場合、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、映像符号化装置２９００は、現在ブロックの幅が第１臨界値以上であるか、あるいは現在ブロックの高さが第１臨界値以上である場合、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。

【0341】

一実施形態において、映像符号化装置２９００は、現在ブロックの大きさと、第２臨界値とを比較し、比較結果が所定条件を満足すれば、現在ブロックの予測モードを三角予測モードに決定することができる。具体的には、映像符号化装置２９００は、現在ブロックの幅と高さの積が第２臨界値以上であるならば、現在ブロックの予測モードを三角予測モードに決定することができる。反対に、映像符号化装置２９００は、現在ブロックの幅と高さの積が第２臨界値より小さければ、現在ブロックの予測モードを、三角予測モード以外のモードに決定することができる。

【0342】

映像符号化装置２９００は、現在ブロックの予測モードが、インター・イントラ結合モードではない場合、現在ブロックの予測モードを三角予測モードに決定し、反対に、現在ブロックの予測モードが、インター・イントラ結合モードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。

【0343】

また、映像符号化装置２９００は、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードである場合には、現在ブロックを三角予測モードによって符号化するか否かということを判断しないのである。反対に、現在ブロックの予測モードが、残差動きベクトルを利用するマージモードではない場合、映像符号化装置２９００は、現在ブロックの予測モードを三角予測モードに決定することができる。

【0344】

Ｓ３０２０段階において、映像符号化装置２９００は、現在ブロックを三角パーティションに分割せずに符号化するレギュラーマージモードにおけるマージリスト構築方法により、三角予測モードのためのマージリストを構築する。

【0345】

一実施形態において、映像符号化装置２９００は、レギュラーマージモードのためのマージリストを、そのまま三角予測モードのためのマージリストとして決定することができる。

【0346】

他の実施形態において、映像符号化装置２９００は、レギュラーマージモードのためのマージリストを変形し、三角予測モードのためのマージリストを決定することもできる。ここで、該レギュラーマージモードのためのマージリスト変形というのは、レギュラーマージモードのためのマージリストに含まれた動きベクトルの順序を変更するか、一部の動きベクトルを除外させるか、あるいはマージリストに存在していない新たな動きベクトルを追加することを意味しうる。

【0347】

該レギュラーマージモードにおけるマージリスト構築方法は、現在ブロックと空間的に関係する空間的ブロック、及び現在ブロックと時間的に関係する時間的ブロックのうち、利用可能なブロックの動きベクトルを含むマージリストを構築する方法でもある。

【0348】

Ｓ３０３０段階において、映像符号化装置２９００は、現在ブロックを２つの三角パーティションに分割する。映像符号化装置２９００は、現在ブロックの左上側コーナーから現在ブロックの右下側コーナーに沿い、現在ブロックを分割するか、あるいは現在ブロックの右上側コーナーから現在ブロックの左下側コーナーに沿い、現在ブロックを分割することができる。

【0349】

Ｓ３０４０段階において、映像符号化装置２９００は、三角予測モードのためのマージリストに含まれた動きベクトルのうち、２つの三角パーティションの動きベクトルに利用される動きベクトルを選択する。映像符号化装置２９００は、マージリストに含まれた動きベクトルのうち、２つの三角パーティションの動きベクトルが選択される場合、最も低いコスト（例えば、率・歪曲コスト）を示す動きベクトルを、２つの三角パーティションの動きベクトルとして選択することができる。

【0350】

Ｓ３０５０段階において、映像符号化装置２９００は、三角予測モード関連情報を含むビットストリームを生成する。

【0351】

該三角予測モード関連情報は、現在ブロックにつき、三角予測モードが適用されるか否かということを示す情報、現在ブロックの分割形態を示す情報、及び三角パーティションの動きベクトルを示す情報のうち少なくとも一つを含んでもよい。現在ブロックの分割形態を示す情報は、現在ブロックの左上側コーナーと右下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないか、現在ブロックの右上側コーナーと左下側コーナーとを連結した境界に沿い、現在ブロックを分割しなければならないかということを示すことができる。

【0352】

なお、前述の本開示の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、作成されたプログラムは、媒体にも保存される。

【0353】

該媒体は、コンピュータで実行可能なプログラムを続けて保存するか、あるいは実行またはダウンロードのために臨時保存するものでもある。また、該媒体は、単一または数個のハードウェアが結合された形態の多様な記録手段または保存手段でもあるが、あるコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものでもある。該媒体の例示としては、ハードディスク、フロッピィーディスク及び磁気テープのような磁気媒体；ＣＤ－ＲＯＭ（compact disc read only memory）及びＤＶＤ（digital versatile disc）のような光記録媒体；フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical medium）；及びＲＯＭ（read only memory）、ＲＡＭ（random access memory）、フラッシュメモリなどを含み、プログラム命令語が保存されるように構成されたものでもある。また、他の媒体の例示として、アプリケーションを流通するアプリストアや、その他多様なソフトウェアを供給ないし流通するサイト、サーバなどで管理する記録媒体や保存媒体も挙げることができる。

【0354】

以上、本開示の技術的思想について、望ましい実施形態を挙げて詳細に説明したが、本開示の技術的思想は、前述の実施形態に限定されず、本開示の技術的思想の範囲内において、当分野で当業者によってさまざまな変形及び変更が可能であろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【国際調査報告】