(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-29
(45)【発行日】2024-03-08
(54)【発明の名称】映像の復号化方法及び装置
(51)【国際特許分類】
H04N 19/12 20140101AFI20240301BHJP
H04N 19/157 20140101ALI20240301BHJP
H04N 19/176 20140101ALI20240301BHJP
H04N 19/70 20140101ALI20240301BHJP
【ＦＩ】
H04N19/12
H04N19/157
H04N19/176
H04N19/70
【請求項の数】
3
(21)【出願番号】P 2022504296
(86)(22)【出願日】2020-12-16
(65)【公表番号】
(43)【公表日】2022-10-17
(86)【国際出願番号】 KR2020018466
(87)【国際公開番号】W WO2021194052
(87)【国際公開日】2021-09-30
【審査請求日】2022-01-21
(31)【優先権主張番号】10-2020-0037703
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0160112
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2020-0160114
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イ ソンヨン
【審査官】田部井 和彦
(56)【参考文献】
【文献】国際公開第２０２０／０６０３６４（ＷＯ，Ａ１）
【文献】Benjamin Bross Jianle Chen Shan Liu Ye-Kui Wang，Versatile Video Coding (Draft 8) [online]， JVET-Q JVET-Q2001-vE，ITU-T インターネット＜URL:https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2001-v15.zip＞，2020年03月12日，pp.1, 310-313
【文献】Jianle Chen Yan Ye Seung Hwan Kim，Algorithm description for Versatile Video Coding and Test Model 8 (VTM 8) [online]， JVET-Q JVET-Q2002-v3，ITU-T インターネット＜URL:https://jvet-experts.org/doc_end_user/documents/17_Brussels/wg11/JVET-Q2002-v3.zip＞，2020年03月24日，pp.1, 56-58
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／１２
Ｈ０４Ｎ １９／１５７
Ｈ０４Ｎ １９／１７６
Ｈ０４Ｎ １９／７０
(57)【特許請求の範囲】
【請求項1】
映像復号化装置により行われる映像復号化方法であって、復号化対象ブロックに対する多重変換集合（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ；ＭＴＳ）が適用可能か否かを指示するパラメータと前記復号化対象ブロックのサイズに関する情報を取得するステップ、
前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータと前記復号化対象ブロックのサイズに関する情報に基づき、前記復号化対象ブロックに適用される変換タイプを判断するステップ、及び
前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータと前記復号化対象ブロックのサイズに関する情報に基づき、前記復号化対象ブロックのゼロアウト領域を設定するステップを含み、
前記復号化対象ブロックのサイズが６４×６４、６４×３２、３２×６４のうちのいずれか一つである場合、前記復号化対象ブロックの有効領域が前記復号化対象ブロックのうち左上側の３２×３２サイズの領域に設定され、前記復号化対象ブロックにおける前記有効領域を除いた残りの領域がゼロアウト領域に設定され、前記ゼロアウト領域の係数値は前記映像復号化装置にシグナリングされず、
前記復号化対象ブロックのサイズが６４×６４、６４×３２、３２×６４のうちのいずれか一つである場合、前記ゼロアウト領域が、前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示する前記パラメータと関係なく設定され、
前記復号化対象ブロックのサイズが３２×３２、３２×１６、１６×３２のうちのいずれか一つである場合、前記ゼロアウト領域が、前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示する前記パラメータを考慮して設定されることを特徴とする映像復号化方法。
【請求項2】
前記復号化対象ブロックに適用される変換タイプを判断するステップにおいて、前記復号化対象ブロックの幅または高さのうち少なくとも一つが３２よりも大きな値を有する場合、前記復号化対象ブロックは、デフォルト変換を用いて変換されたと判断することを特徴とする請求項１に記載の映像復号化方法。
【請求項3】
前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータは、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇであることを特徴とする請求項１に記載の映像復号化方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオコーディング技術に係り、さらに詳しくは、映像の復号化過程中、復号化対象ブロックの一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）のタイプを決める方法に関する。
【背景技術】
【0002】
最近、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像のような高解像度、高品質の映像についての需要が様々な分野で増加している。映像データが高解像度、高品質になるほど、既存の映像データに比べて、相対的に送信される情報量またはビット量が増加するため、既存の有無線広帯域回線のような媒体を用いて映像データを保存する場合、送信費用と保存費用が増加する。
【0003】
２０１３年、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）ビデオコーデックの制定以来、４Ｋ、８Ｋのビデオ映像を用いた実感映像及び仮想現実サービス等が広がることにより、ＨＥＶＣに対して２倍以上の性能改善を目標とする次世代ビデオコーデックであるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準化作業に取り掛かり、現在は、標準化作業が盛んに進行中である。ＶＶＣは、ビデオ符号化標準化グループであるＩＳＯ／ＩＣＥ ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及びＩＴＵ－Ｔ ＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が共同で構成したＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ）において、ＨＥＶＣに対して２倍以上の符号化圧縮性能の改善を目標として開発中である。ＶＶＣ標準化は、２０１８年１月、１２１次光州ＭＰＥＧ、９次ＪＶＥＴ会議において、提案要請書（Ｃａｌｌ ｆｏｒ ｐｒｏｐｏｓａｌ）を発表し、１２２次サンディエゴＭＰＥＧ及び１０次ＪＶＥＴ会議において、総２３個の機関がビデオコーデック技術を提案することにより、本格的なビデオ標準化が始まった。１２２次ＭＰＥＧ及び１０次ＪＶＥＴ会議では、それぞれの機関から提案されたビデオコーデック技術に対する技術検討、客観的圧縮性能、及び主観的画質評価を行い、多くの技術のうち一部を採用して、Ｗｏｒｋｉｎｇ Ｄｒａｆｔ（ＷＤ）１．０及びビデオ参照ソフトウェアであるＶＴＭ（ＶＶＣ Ｔｅｓｔ Ｍｏｄｅ）１．０を発表した。ＶＶＣ標準は、２０１９年７月、１２７次ＭＰＥＧ及び１５次ＪＶＥＴ会議の終了後、委員会原案（Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ、ＣＤ）が完成され、２０２０年１０月、最終国際標準案（Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ、ＦＤＩＳ）を制定することを目標として標準化が進まれている。
【0004】
従来、ＨＥＶＣにおけるクアッドツリー（Ｑｕａｄｔｒｅｅ）で階層的に分割する符号化構造において、ＶＶＣでは、ＱＴＢＴ（ＱｕａｄＴｒｅｅ Ｂｉｎａｒｙ Ｔｒｅｅ）とＴＴ（Ｔｅｒｎａｒｙ Ｔｒｅｅ）を結合した分割ブロック構造を採用した。これは、ＨＥＶＣに比べて柔軟に予測残差信号を発生または処理することができるようにして、ＨＥＶＣに比べてさらに向上した圧縮性能が得られる。このような基本ブロック構造以外に、適応ループフィルタ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）技術、動き予測技術として、アフィン動き予測（Ａｆｆｉｎｅ Ｍｏｔｉｏｎ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＰ）技術、デコーダ側動きベクトル精密化（Ｄｅｃｏｄｅｒ－ｓｉｄｅ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｒｅｆｉｎｅｍｅｎｔ、ＤＭＶＲ）技術等の既存コーデックでは用いられていない新たな技術が標準技術として採用された。変換及び量子化技術としては、既存のビデオコーデックにおいて多く用いられた変換カーネルであるＤＣＴ－IIが続けて用いられており、適用ブロックのサイズがさらに大きなブロックサイズにまで適用することに変更された。また、既存のＨＥＶＣにおいて、４×４のような小さな変換ブロックに対して適用されてきたＤＳＴ－７カーネルが、大きな変換ブロックにまで拡大され、新たな変換カーネルであるＤＣＴ－８まで変換カーネルとして追加された。
【0005】
一方、ＨＥＶＣ標準では、映像をエンコードまたはデコードする場合、一つの変換タイプを用いて変換を行うため、映像に対する変換タイプに関する情報を送信する必要がなかったが、新たな技術では、ＤＣＴ－II、ＤＣＴ－８、ＤＣＴ－７を用いる多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）が適用され得るので、デコードの際に、ＭＴＳを適用するか否か、及びどんな一次変換タイプが適用されるかを定義するための技術が要求されている実情である。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明の技術的課題は、特定条件により予め正義された方法で逆変換を行うことにある。
【0007】
本発明の他の技術的課題は、復号化対象ブロックに最適化された変換タイプを適用して復号化を行うことにある。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、映像復号化装置により行われる映像復号化方法が提供される。前記映像復号化方法は、復号化対象ブロックに対する多重変換集合（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｔ；ＭＴＳ）が適用可能か否かを指示するパラメータ、前記復号化対象ブロックの幅、前記復号化対象ブロックの高さに関する情報を取得するステップ、前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータ、前記復号化対象ブロックの幅、前記復号化対象ブロックの高さに関する情報のうち少なくとも一つに基づき、前記復号化対象ブロックの変換タイプを判断するステップ、前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータ、前記復号化対象ブロックの幅、前記復号化対象ブロックの高さに関する情報のうち少なくとも一つに基づき、前記復号化対象ブロックのゼロアウト領域を設定するステップ、及び前記復号化対象ブロックのゼロアウト領域及び変換タイプに対する判断の結果に基づき、前記復号化対象ブロックに対する逆変換を行うステップを含む。
【0009】
本発明の他の態様によれば、前記復号化対象ブロックの変換タイプを判断するステップにおいて、前記復号化対象ブロックの幅または高さのうち少なくとも一つが３２よりも大きな値を有する場合、前記復号化対象ブロックは、デフォルト変換を用いて変換されたと判断する。
【0010】
本発明のまた他の態様によれば、前記復号化対象ブロックのゼロアウト領域を設定するステップにおいて、前記復号化対象ブロックの幅または高さのうち一つが３２よりも大きな値を有する場合、前記復号化対象ブロックの幅または高さが３２よりも大きな領域をゼロアウト領域に設定する。
【0011】
本発明のまた他の態様によれば、前記復号化対象ブロックに対する多重変換集合が適用可能か否かを指示するパラメータは、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。
【0012】
本発明のまた他の態様によれば、映像復号化装置により行われる映像復号化方法が提供される。前記映像復号化方法は、復号化対象ブロックの多重変換集合の適用如何に関する情報、予測モードに関する情報、二次変換の適用如何に関する情報、行列を用いた予測の適用如何に関する情報、前記復号化対象ブロックのサイズに関する情報のうち少なくとも一つを取得するステップ、前記復号化対象ブロックの多重変換集合の適用如何に関する情報、予測モードに関する情報、二次変換の適用如何に関する情報、行列を用いた予測の適用如何に関する情報のうち少なくとも一つに基づき、前記復号化対象ブロックに暗黙的多重変換集合が適用されるか否かを判断するステップ、前記復号化対象ブロックに暗黙的多重変換集合が適用されるか否かに関する情報及び前記復号化対象ブロックのサイズに関する情報に基づき、変換タイプに関する情報を取得するステップ、及び前記変換タイプに関する情報に基づき逆変換を行うステップを含む。
【0013】
本発明のまた他の態様によれば、前記暗黙的多重変換集合が適用されるか否かを判断するステップは、前記復号化対象ブロックの多重変換集合の適用如何に関する情報、予測モードに関する情報、二次変換の適用如何に関する情報、行列を用いた予測の適用如何に関する情報を用いて、前記暗黙的多重変換集合が適用されるか否かを判断する。
【0014】
本発明のまた他の態様によれば、前記暗黙的多重変換集合は、一つのデフォルト変換（ｄｅｆａｕｌｔ ｔｒａｎｓｆｏｒｍ）及び少なくとも一つの追加変換（ｅｘｔｒａ ｔｒａｎｓｆｏｒｍｓ）を含む。
【0015】
本発明のまた他の態様によれば、前記復号化対象ブロックのサイズに関する情報に基づき、変換タイプに関する情報を取得するステップは、前記復号化対象ブロックの横軸長さが全て４以上１６以下である場合、前記復号化対象ブロックは、前記横軸方向に対して追加変換タイプ（ｅｘｔｒａ ｔｒａｎｓｆｏｒｍ ｔｙｐｅ）のうち少なくとも一つが適用される。
【0016】
本発明のまた他の態様によれば、前記復号化対象ブロックのサイズに関する情報に基づき、変換タイプに関する情報を取得するステップは、前記復号化対象ブロックの縦軸長さが全て４以上１６以下である場合、前記復号化対象ブロックは、前記縦軸方向に対して追加変換タイプのうち少なくとも一つが適用される。
【0017】
本発明のまた他の態様によれば、前記復号化対象ブロックの多重変換集合の適用如何に関する情報は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇのうち少なくとも一つを含む。
【0018】
本発明のまた他の態様によれば、前記予測モードに関する情報は、ＣｕＰｒｅｄＭｏｄｅを含む。
【0019】
本発明のまた他の態様によれば、前記二次変換の適用如何に関する情報は、ｌｆｎｓｔ＿ｉｄｘを含む。
【0020】
本発明のまた他の態様によれば、前記行列を用いた予測の適用如何に関する情報は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇを含む。
【0021】
本発明のまた他の態様によれば、前記復号化対象ブロックの変換タイプに関する情報は、それぞれ横軸変換タイプに関する情報及び縦軸変換タイプに関する情報を含む。
【0022】
本発明のまた他の態様によれば、前記復号化対象ブロックに暗黙的多重変換集合が適用されるか否かを判断するステップは、前記復号化対象ブロックがルーマ（ｌｕｍａ）ブロックであるか否かをさらに確認することにより取得される。
【0023】
本発明のまた他の態様によれば、メモリ及び少なくとも一つのプロセッサを含む映像復号化装置が提供される。前記映像復号化装置は、復号化対象ブロックの多重変換集合の適用如何に関する情報、予測モードに関する情報、二次変換の適用如何に関する情報、行列を用いた予測の適用如何に関する情報、前記復号化対象ブロックのサイズに関する情報のうち少なくとも一つを取得し、前記復号化対象ブロックの多重変換集合の適用如何に関する情報、予測モードに関する情報、二次変換の適用如何に関する情報、行列を用いた予測の適用如何に関する情報のうち少なくとも一つに基づき、前記復号化対象ブロックに暗黙的多重変換集合が適用されるか否かを判断し、前記復号化対象ブロックに暗黙的多重変換集合が適用されるか否かに関する情報及び前記復号化対象ブロックのサイズに関する情報に基づき、変換タイプに関する情報を取得し、前記変換タイプに関する情報に基づき逆変換を行う逆変換部を含む少なくとも一つのプロセッサを含む。
【発明の効果】
【0024】
本発明によれば、特定条件により予め正義された方法で逆変換を行うことができる。
【0025】
また、復号化対象ブロックに最適化された変換タイプを適用して復号化を行うことにより、圧縮性能の改善効果を期待することができる。
【図面の簡単な説明】
【0026】
【図1】本発明が適用されるビデオエンコード装置の構成を概略的に示す図である。
【図2】ビデオエンコード装置により行われる映像エンコード方法の一例を示す図である。
【図3】本発明が適用されるビデオデコード装置の構成を概略的に示す図である。
【図4】デコード装置により行われる映像デコード方法の一例を示す図である。
【図5】対角線スキャン（ｄｉａｇｏｎａｌ ｓｃａｎ）方式についてのサブブロック及び係数のスキャン順序を示す図である。
【図6】量子化後の３２×３２符号化対象ブロックの一例を示す図である。
【図7】Ｍ×Ｎ復号化対象ブロックの領域中、ｍ×ｎを除いた残りのゼロアウト領域を示す図である。
【図8】本発明の一実施形態による暗黙的ＭＴＳ機能の適用如何の決定方法を示す図である。
【図9】本発明の一実施形態による暗黙的ＭＴＳの該ブロックの幅及び高さによる変換情報を誘導する方法を示す図である。
【図10】本発明の一実施形態による変換関連パラメータに基づく逆変換実行方法を示す図である。
【図11】３２×３２復号化対象ブロック内において太線でマーキングした有効（ｖａｌｉｄ）ＭＴＳ領域を示す図である。
【図12】本発明の一実施形態による有効ＭＴＳの判断方法を示す図である。
【図13】本発明の他の実施形態による有効ＭＴＳの判断方法を示す図である。
【図14】本発明のまた他の実施形態による有効ＭＴＳの判断方法を示す図である。
【図15】本発明の一実施形態による明示的ＭＴＳ機能の適用如何の決定方法を示す図である。
【図16】本発明の他の実施形態による変換関連パラメータに基づく逆変換実行方法を示す図である。
【発明を実施するための形態】
【0027】
本発明は、様々な変更を加えてもよく、様々な実施形態を有してもよいので、特定の実施形態を図面に例示して詳細に説明する。しかし、これは、本発明を特定の実施形態に限定しようとするものではない。本明細書において用いる用語は、単に特定の実施形態を説明するために用いられたものであって、本発明の技術的思想を限定しようとする意図で用いられるものではない。単数の表現は、文脈上、明らかに異なる意味でない限り、複数の表現を含む。本明細書において「含む」または「有する」等の用語は、明細書上に記載された特徴、番号、ステップ、動作、構成要素、部品またはこれらの組合せが存在することを指定しようとするものであって、一つまたはそれ以上の他の特徴、番号、ステップ、動作、構成要素、部品、またはこれらの組合せ等の存在、または付加の可能性を予め排除しないものと理解されなければならない。
【0028】
一方、本発明で説明される図面上の各構成は、別個の特徴的な機能に関する説明の便宜のために独立して示されたものであって、各構成が互いに別個のハードウェアまたは別個のソフトウェアで実現されることを意味するものではない。例えば、各構成のうち二つ以上の構成が結合されて一つの構成をなしてもよく、一つの構成が複数の構成に分けられてもよい。各構成が統合及び／または分離された実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【0029】
以下、添付の図面を参照して、本発明の好ましい実施形態をさらに詳細に説明する。以下、図面上の同一の構成要素に対しては、同一の参照符号を使用し、同一の構成要素に対して重複する説明を省略する。
【0030】
一方、本発明は、ビデオ／映像コーディングに関する。例えば、本発明に開示された方法／実施形態は、ＶＶＣ（ｖｅｒｓａｔｉｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＥＶＣ（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）、または次世代ビデオ／イメージコーディング標準（例えば、Ｈ．２６７、Ｈ．２６８等）に開示された方法に適用され得る。
【0031】
この明細書において、ピクチャ（ｐｉｃｔｕｒｅ）は、一般に、特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）は、コーディングにおいて、ピクチャの一部を構成する単位である。一つのピクチャは、複数のスライスで構成されてもよく、必要に応じて、ピクチャ及びスライスは、互いに混用してもよい。
【0032】
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または映像）を構成する最小の単位を意味してもよい。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が用いられてもよい。サンプルは、一般に、ピクセルまたはピクセルの値を示すか、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すか、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示してもよい。
【0033】
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示す。ユニットは、ピクチャの特定領域及び当該領域に関する情報のうち少なくとも一つを含んでもよい。ユニットは、場合に応じて、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）等の用語と混用してもよい。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示してもよい。
【0034】
図１は、本発明が適用されるビデオエンコード装置の構成を概略的に示す図である。
【0035】
図１を参照すると、ビデオエンコード装置１００は、ピクチャ分割部１０５、予測部１１０、残差処理部１２０、エントロピーエンコーディング部１３０、加算部１４０、フィルタ部１５０、及びメモリ１６０を含んでもよい。残差処理部１２０は、減算部１２１、変換部１２２、量子化部１２３、再整列部１２４、逆量子化部１２５、及び逆変還部１２６を含んでもよい。
【0036】
ピクチャ分割部１０５は、入力されたピクチャを少なくとも一つの処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割する。
【0037】
一例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれてもよい。この場合、コーディングユニットは、コーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）からＱＴＢＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ）構造により再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されてもよい。例えば、一つのコーディングユニットは、クアッドツリー構造及び／またはバイナリツリー構造に基づき、下位（ｄｅｅｐｅｒ）デプスの複数のノードに分割されてもよい。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造が後で適用されてもよい。あるいは、バイナリツリー構造が先に適用されてもよい。これ以上分割されない最終コーディングユニットに基づき、本発明によるコーディング手続きが行われてもよい。この場合、映像特性によるコーディング効率等に基づき、最大のコーディングユニットが直ちに最終コーディングユニットとして用いられてもよく、または必要に応じて、コーディングユニットは、再帰的にさらに下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終のコーディングユニットとして用いられてもよい。ここで、コーディング手続きとは、後述する予測、変換、及び復元等の手続きを含んでもよい。
【0038】
他の例として、処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）を含んでもよい。コーディングユニットは、最大のコーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）から、クアッドツリー構造により、下位デプスのコーディングユニットに分割（ｓｐｌｉｔ）されてもよい。この場合、映像特性によるコーディング効率等に基づき、最大のコーディングユニットが直ちに最終コーディングユニットとして用いられてもよく、または必要に応じて、コーディングユニットは、再帰的にさらに下位デプスのコーディングユニットに分割されて、最適のサイズのコーディングユニットが最終のコーディングユニットとして用いられてもよい。最小のコーディングユニット（ｓｍａｌｌｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＳＣＵ）が設定された場合、コーディングユニットは、最小のコーディングユニットよりもさらに小さなコーディングユニットに分割されない。ここで、最終のコーディングユニットとは、予測ユニットまたは変換ユニットにパーティショニングまたは分割される基盤となるコーディングユニットを意味する。予測ユニットは、コーディングユニットからパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）されるユニットであって、サンプル予測のユニットであってもよい。このとき、予測ユニットは、サブブロック（ｓｕｂｂｌｏｃｋ）に分けられてもよい。変換ユニットは、コーディングユニットからクアッドツリー構造により分割されてもよく、変換係数を誘導するユニット及び／または変換係数から残差信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導するユニットであってもよい。以下、コーディングユニットは、コーディングブロック（ｃｏｄｉｎｇ ｂｌｏｃｋ、ＣＢ）、予測ユニットは、予測ブロック（ｐｒｅｄｉｃｔｉｏｎ ｂｌｏｃｋ、ＰＢ）、変換ユニットは、変換ブロック（ｔｒａｎｓｆｏｒｍ ｂｌｏｃｋ、ＴＢ）と呼ばれてもよい。予測ブロックまたは予測ユニットは、ピクチャ内でブロック形態の特定の領域を意味し、予測サンプルのアレイ（ａｒｒａｙ）を含んでもよい。また、変換ブロックまたは変換ユニットは、ピクチャ内でブロック形態の特定の領域を意味し、変換係数または残差サンプルのアレイを含んでもよい。
【0039】
予測部１１０は、処理対象ブロック（以下、現在ブロックという）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロックを生成する。予測部１１０で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。
【0040】
予測部１１０は、現在ブロックにイントラ予測が適用されるか、インター予測が適用されるかを決定する。一例として、予測部１１０は、ＣＵ単位でイントラ予測またはインター予測が適用されるかを決定する。
【0041】
イントラ予測の場合、予測部１１０は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の現在ブロック外部の参照サンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。このとき、予測部１１０は、（i）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導してもよく、（ii）現在ブロックの隣接参照サンプルのうち予測サンプルに対して特定の（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導してもよい。（i）の場合は、非方向性モードまたは非角度モードと呼ばれ、（ii）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれる。イントラ予測における予測モードは、例えば、３３個の方向性予測モードと少なくとも２個の非方向性モードを有してもよい。非方向性モードは、ＤＣ予測モード及びプラナーモード（Ｐｌａｎａｒモード）を含んでもよい。予測部１１０は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定してもよい。
【0042】
インター予測の場合、予測部１１０は、参照ピクチャ上において、動きベクトルにより特定されるサンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部１１０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードのうちいずれか一つを適用して現在ブロックに対する予測サンプルを誘導することができる。スキップモード及びマージモードの場合、予測部１１０は、隣接ブロックの動き情報を現在ブロックの動き情報として用いてもよい。スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（残差）が送信されない。ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として用い、現在ブロックの動きベクトル予測子として用いて現在ブロックの動きベクトルを誘導することができる。
【0043】
インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）及び参照ピクチャ（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ）に存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含んでもよい。前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれてもよい。動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）は、動きベクトル及び参照ピクチャインデックスを含んでもよい。予測モード情報及び動き情報等の情報は、（エントロピー）エンコーディングされてビットストリームの形態で出力されてもよい。
【0044】
スキップモード及びマージモードで時間的隣接ブロックの動き情報が用いられる場合、参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）上の最上位ピクチャが参照ピクチャとして用いられてもよい。参照ピクチャリストに含まれる参照ピクチャは、現在ピクチャと当該参照ピクチャとの間のＰＯＣ（Ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）の差に基づいて整列されてもよい。ＰＯＣは、ピクチャのディスプレイ順序に対応し、コーディング順序と区分され得る。
【0045】
減算部１２１は、原本サンプルと予測サンプルとの間の差である残差サンプルを生成する。スキップモードが適用される場合は、前述したように残差サンプルを生成しなくてもよい。
【0046】
変換部１２２は、変換ブロック単位で残差サンプルを変換して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を生成する。変換部１２２は、当該変換ブロックのサイズと、当該変換ブロックと空間的に重なるコーディングブロックまたは予測ブロックに適用された予測モードに応じて、変換を行うことができる。例えば、前記変換ブロックと重なる前記コーディングブロックまたは前記予測ブロックにイントラ予測が適用され、前記変換ブロックが４×４の残差アレイ（ａｒｒａｙ）であれば、残差サンプルは、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを用いて変換され、その他の場合であれば、残差サンプルは、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）変換カーネルを用いて変換される。
【0047】
量子化部１２３は、変換係数を量子化し、量子化された変換係数を生成する。
【0048】
再整列部１２４は、量子化された変換係数を再整列する。再整列部１２４は、係数スキャニング（ｓｃａｎｎｉｎｇ）方法により、ブロック形態の量子化された変換係数を１次元ベクトル形態で再整列できる。ここで、再整列部１２４は、別途の構成で説明したが、量子化部１２３の一部であってもよい。
【0049】
エントロピーエンコーディング部１３０は、量子化された変換係数に対するエントロピーエンコーディングを行う。エントロピーエンコーディングは、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）等のようなエンコード方法を含んでもよい。エントロピーエンコーディング部１３０は、量子化された変換係数の他にビデオ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）の値等）を共にまたは別途にエンコードしてもよい。エントロピーエンコード化情報は、ビットストリームの形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または保存されてもよい。
【0050】
逆量子化部１２５は、量子化部１２３で量子化された値（量子化された変換係数）を逆量子化し、逆変換部１２６は、逆量子化部１２５で逆量子化された値を逆変換して残差サンプルを生成する。
【0051】
加算部１４０は、残差サンプルと予測サンプルを合わせてピクチャを復元する。残差サンプルと予測サンプルは、ブロック単位で加えられて復元ブロックが生成される。ここで、加算部１４０は、別途の構成で説明したが、予測部１１０の一部であってもよい。一方、加算部１４０は、復元部または復元ブロック生成部とも呼ばれる。
【0052】
復元されたピクチャ（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）に対して、フィルタ部１５０は、デブロッキングフィルタ及び／またはサンプル適応オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）を適用することができる。デブロッキングフィルタリング及び／またはサンプル適応オフセットにより、復元ピクチャ内のブロック境界のアーチファクトや量子化過程での歪みが補正され得る。サンプル適応オフセットは、サンプル単位で適用されてもよく、デブロッキングフィルタリングの過程が完了した後に適用されてもよい。フィルタ部１５０は、復元されたピクチャにＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）を適用することもできる。ＡＬＦは、デブロッキングフィルタ及び／またはサンプル適応オフセットが適用された後の復元されたピクチャに対して適用されてもよい。
【0053】
メモリ１６０は、復元ピクチャ（デコードされたピクチャ）またはエンコード／デコードに必要な情報を保存する。ここで、復元ピクチャは、前記フィルタ部１５０によりフィルタリング手続きが完了した復元ピクチャであってもよい。前記保存された復元ピクチャは、他のピクチャの（インター）予測のための参照ピクチャとして活用されてもよい。例えば、メモリ１６０は、インター予測に用いられる（参照）ピクチャを保存することができる。このとき、インター予測に用いられるピクチャは、参照ピクチャセット（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｓｅｔ）または参照ピクチャリスト（ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）により指定されてもよい。
【0054】
図２は、ビデオエンコード装置により行われる映像エンコード方法の一例を示す。図２を参照すると、前記映像エンコード方法は、ブロックパーティショニング（ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ）、イントラ／インター予測、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、及びエントロピーエンコーディング（ｅｎｔｒｏｐｙ ｅｎｃｏｄｉｎｇ）過程を含んでもよい。例えば、現在ピクチャは、複数のブロックに分割されてもよく、イントラ／インター予測により、現在ブロックの予測ブロックが生成されてもよく、前記現在ブロックの入力ブロックと前記予測ブロックとの減算により、前記現在ブロックの残差ブロックが生成されてもよい。以降、前記残差ブロックに対する変換により、係数（ｃｏｅｆｆｉｃｅｎｔ）ブロック、すなわち、前記現在ブロックの変換係数が生成されてもよい。前記変換係数は、量子化及びエントロピーエンコーディングされて、ビットストリームに保存されてもよい。
【0055】
図３は、本発明が適用されるビデオデコード装置の構成を概略的に説明する図である。
【0056】
図３を参照すると、ビデオデコード装置３００は、エントロピーデコーディング部３１０、残差処理部３２０、予測部３３０、加算部３４０、フィルタ部３５０、及びメモリ３６０を含んでもよい。ここで、残差処理部３２０は、再整列部３２１、逆量子化部３２２、逆変換部３２３を含んでもよい。
【0057】
ビデオ情報を含むビットストリームが入力されると、ビデオデコード装置３００は、ビデオエンコード装置でビデオ情報が処理されたプロセスに対応してビデオを復元することができる。
【0058】
例えば、ビデオデコード装置３００は、ビデオエンコード装置で適用された処理ユニットを用いてビデオデコーディングを行うことができる。従って、ビデオデコーディングの処理ユニットブロックは、一例としてコーディングユニットであってもよく、他の例としてコーディングユニット、予測ユニット、または変換ユニットであってもよい。コーディングユニットは、最大のコーディングユニットからクアッドツリー構造及び／またはバイナリツリー構造により分割されてもよい。
【0059】
予測ユニット及び変換ユニットが、場合に応じて、さらに使用されてもよく、この場合、予測ブロックは、コーディングユニットから導出またはパーティショニングされるブロックであって、サンプル予測のユニットであってもよい。このとき、予測ユニットは、サブブロックに分けられてもよい。変換ユニットは、コーディングユニットからクアッドツリー構造により分割されてもよく、変換係数を誘導するユニットまたは変換係数から残差信号を誘導するユニットであってもよい。
【0060】
エントロピーデコーディング部３１０は、ビットストリームをパーシングしてビデオ復元またはピクチャ復元に必要な情報を出力する。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣ等のコーディング方法に基づき、ビットストリーム内の情報をデコーディングし、ビデオ復元に必要なシンタックスエレメントの値、残差に対する変換係数の量子化された値を出力することができる。
【0061】
さらに詳しくは、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に相当するビンを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前のステップでデコードされたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルにより、ビン（ｂｉｎ）の発生確率を予測してビンの算術符号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行って各シンタックス要素の値に相当するシンボルを生成できる。このとき、ＣＡＢＡＣエントロピーデコード方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのためにデコードされたシンボル／ビンの情報を用いて、コンテキストモデルをアップデートすることができる。
【0062】
エントロピーデコーディング部３１０でデコードされた情報のうち予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが行われた残差の値、即ち、量子化された変換係数は、再整列部４２１に入力される。
【0063】
再整列部３２１は、量子化されている変換係数を２次元のブロック形態で再整列する。再整列部３２１は、エンコード装置で行われた係数スキャニングに対応して再整列を行うことができる。ここで、再整列部３２１は、別途の構成で説明したが、逆量子化部３２２の一部であってもよい。
【0064】
逆量子化部３２２は、量子化されている変換係数を（逆）量子化パラメータに基づいて逆量子化して変換係数を出力することができる。このとき、量子化パラメータを誘導するための情報は、エンコード装置からシグナリングされてもよい。
【0065】
逆変換部３２３は、変換係数を逆変換して残差サンプルを誘導することができる。
【0066】
予測部３３０は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。予測部３３０で行われる予測の単位は、コーディングブロックであってもよく、変換ブロックであってもよく、予測ブロックであってもよい。
【0067】
予測部３３０は、前記予測に関する情報に基づき、イントラ予測を適用するか、インター予測を適用するかを決定する。このとき、イントラ予測とインター予測のうち、どれを適用するかを決定する単位と、予測サンプルを生成する単位とは異なる。併せて、インター予測及びイントラ予測において、予測サンプルを生成する単位も異なる。例えば、インター予測及びイントラ予測のうち、どれを適用するかは、ＣＵ単位で決定できる。また、例えば、インター予測において、ＰＵ単位で予測モードを決定して、予測サンプルを生成してもよく、イントラ予測において、ＰＵ単位で予測モードを決定して、ＴＵ単位で予測サンプルを生成してもよい。
【0068】
イントラ予測の場合、予測部３３０は、現在ピクチャ内の隣接参照サンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部３３０は、現在ブロックの隣接参照サンプルに基づき、方向性モードまたは非方向性モードを適用して、現在ブロックに対する予測サンプルを誘導することができる。このとき、隣接ブロックのイントラ予測モードを用いて、現在ブロックに適用する予測モードが決定されてもよい。一方、事前にトレーニングされた行列に基づき、予測を行うＭＩＰ（Ｍａｔｒｉｘ－ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）が用いられてもよく、この場合、それぞれのブロックのサイズ別にＭＩＰモードの数と行列のサイズが定義されており、参照サンプルを行列のサイズに合わせてダウンサンプリングした後、モード番号により決まった行列を掛け算し、予測ブロックのサイズに合わせて補間して予測値を生成する。
【0069】
インター予測の場合、予測部３３０は、参照ピクチャ上において、動きベクトルにより参照ピクチャ上において特定されるサンプルに基づき、現在ブロックに対する予測サンプルを誘導することができる。予測部３３０は、スキップ（ｓｋｉｐ）モード、マージ（ｍｅｒｇｅ）モード、及びＭＶＰモードのうち、いずれか一つを適用して、現在ブロックに対する予測サンプルを誘導することができる。このとき、ビデオエンコード装置から提供された現在ブロックのインター予測に必要な動き情報、例えば、動きベクトル、参照ピクチャインデックス等に関する情報は、前記予測に関する情報に基づいて取得または誘導されてもよい。
【0070】
スキップモード及びマージモードの場合、隣接ブロックの動き情報が現在ブロックの動き情報として用いられてもよい。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含んでもよい。
【0071】
予測部３３０は、可用の隣接ブロックの動き情報でマージ候補リストを構成し、マージインデックスがマージ候補リスト上において指示する情報を現在ブロックの動きベクトルとして用いてもよい。マージインデックスは、エンコード装置からシグナリングされてもよい。動き情報は、動きベクトルと参照ピクチャを含んでもよい。スキップモード及びマージモードにおいて、時間的隣接ブロックの動き情報が用いられる場合、参照ピクチャリスト上の最上位ピクチャが参照ピクチャとして用いられてもよい。
【0072】
スキップモードの場合、マージモードとは異なり、予測サンプルと原本サンプルとの間の差（残差）が送信されない。
【0073】
ＭＶＰモードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用いて、現在ブロックの動きベクトルが誘導されてもよい。このとき、隣接ブロックは、空間的隣接ブロックと時間的隣接ブロックを含んでもよい。
【0074】
一例として、マージモードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを用いて、マージ候補リストが生成されてもよい。マージモードではマージ候補リストから選ばれた候補ブロックの動きベクトルが、現在ブロックの動きベクトルとして用いられる。前記予測に関する情報は、前記マージ候補リストに含まれた候補ブロックのうちから選ばれた最適の動きベクトルを有する候補ブロックを指示するマージインデックスを含んでもよい。このとき、予測部３３０は、前記マージインデックスを用いて、現在ブロックの動きベクトルを導出してもよい。
【0075】
他の例として、ＭＶＰ（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）モードが適用される場合、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルを用いて、動きベクトル予測子候補リストが生成されてもよい。即ち、復元された空間的隣接ブロックの動きベクトル及び／または時間的隣接ブロックであるＣｏｌブロックに対応する動きベクトルは、動きベクトル候補として用いられてもよい。前記予測に関する情報は、前記リストに含まれた動きベクトル候補のうちから選択された最適の動きベクトルを指示する予測動きベクトルインデックスを含んでもよい。このとき、予測部３３０は、前記動きベクトルインデックスを用いて、動きベクトル候補リストに含まれている動きベクトル候補のうちから、現在ブロックの予測動きベクトルを選ぶことができる。エンコード装置の予測部は、現在ブロックの動きベクトルと動きベクトル予測子との間の動きベクトル差分（ＭＶＤ）を求め、これをエンコードしてビットストリームの形態で出力する。即ち、ＭＶＤは、現在ブロックの動きベクトルから前記動きベクトル予測子を引いた値として求められる。このとき、予測部３３０は、前記予測に関する情報に含まれた動きベクトル差分を取得し、前記動きベクトル差分と前記動きベクトル予測子の加算により、現在ブロックの前記動きベクトルを導出することができる。また、予測部は、参照ピクチャを指示する参照ピクチャインデックス等を前記予測に関する情報から取得または誘導することができる。
【0076】
加算部３４０は、残差サンプルと予測サンプルを加算して現在ブロックまたは現在ピクチャを復元する。加算部３４０は、残差サンプルと予測サンプルをブロック単位で加算して現在ピクチャを復元してもよい。スキップモードが適用された場合は、残差が送信されないため、予測サンプルが復元サンプルとなる。ここでは加算部３４０を別途の構成として説明したが、予測部３３０の一部であってもよい。一方、加算部３４０は、復元部または復元ブロック生成部とも呼ばれる。
【0077】
フィルタ部３５０は、復元されたピクチャにデブロッキングフィルタリングサンプル適応オフセット及び／またはＡＬＦ等を適用してもよい。このとき、サンプル適応オフセットは、サンプル単位で適用されてもよく、デブロッキングフィルタリング以後に適用されてもよい。ＡＬＦは、デブロッキングフィルタリング及び／またはサンプル適応オフセット以後に適用されてもよい。
【0078】
メモリ３６０は、復元ピクチャ（デコードされたピクチャ）またはデコーディングに必要な情報を保存する。ここで、復元ピクチャは、前記フィルタ部３５０によりフィルタリング手続きが完了した復元ピクチャであってもよい。例えば、メモリ３６０は、インター予測に用いられるピクチャを保存してもよい。このとき、インター予測に用いられるピクチャは、参照ピクチャセットまたは参照ピクチャリストにより指定されてもよい。復元されたピクチャは、他のピクチャに対する参照ピクチャとして用いられてもよい。また、メモリ３６０は、復元されたピクチャを出力順序により出力してもよい。
【0079】
図４は、デコード装置により行われる映像デコード方法の一例を示す図である。図４を参照すると、前記映像デコード方法は、エントロピーデコーディング（ｅｎｔｒｏｐｙ ｄｅｃｏｄｉｎｇ）、逆量子化（ｉｎｖｅｒｓｅ ｑｕａｎｔｉｚａｔｉｏｎ）、逆変換（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）、及びイントラ／インター予測過程を含んでもよい。例えば、デコード装置では前記エンコード方法の逆過程が行われてもよい。具体的に、ビットストリームに対するエントロピーデコーディングにより量子化された変換係数が取得されてもよく、前記量子化された変換係数に対する逆量子化過程により、現在ブロックの係数ブロック、すなわち、変換係数が取得されてもよい。前記変換係数に対する逆変換により、前記現在ブロックの残差ブロックが導出されてもよく、イントラ／インター予測により導出された前記現在ブロックの予測ブロックと前記残差ブロックとの加算により、前記現在ブロックの復元ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が導出されてもよい。
【0080】
一方、後述する実施形態におけるオペレーターは、下記の表のように正義されてもよい。
【0081】
【表1】
【0082】
表１を参照すると、Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大の整数値を示し、Ｌｏｇ２（ｕ）は、ｕの２を底（ｂａｓｅ）とする対数値を示し、Ｃｅｉｌ（ｘ）は、ｘ以上の最小の整数値を示す。例えば、Ｆｌｏｏｒ（５．９３）の場合、５．９３以下の最大の整数値は、５であるので、５を示す。
【0083】
また、表１を参照すると、ｘ＞＞ｙは、ｘをｙ番だけ右シフト（ｒｉｇｈｔ ｓｈｉｆｔ）する演算子を示し、ｘ＜＜ｙは、ｘをｙ番だけ左シフト（ｌｅｆｔ ｓｈｉｆｔ）する演算子を示す。
【0084】
＜導入＞
ＨＥＶＣ標準は、一般に、一つの変換タイプ（ｔｒａｎｓｆｏｒｍ ｔｙｐｅ）であるＤＣＴを用いる。したがって、変換タイプについての別途の決定過程及び決まった変換タイプに関する情報が送信される必要がない。但し、現在、ルーマブロックのサイズが４ｘ４であるとともに、イントラ予測を行う場合、例外的にＤＳＴ変換タイプを用いる。
ＨＥＶＣ標準は、一般に、一つの変換タイプ（ｔｒａｎｓｆｏｒｍ ｔｙｐｅ）であるＤＣＴを用いる。したがって、変換タイプについての別途の決定過程及び決まった変換タイプに関する情報が送信される必要がない。但し、現在、ルーマブロックのサイズが４ｘ４であるとともに、イントラ予測を行う場合、例外的にＤＳＴ変換タイプを用いる。
【0085】
変換及び量子化過程を経た量子化された係数（ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）のうち、ノンゼロ（ｎｏｎ－ｚｅｒｏ）係数の位置を表現する情報は、大いに３種類に分類される。
【0086】
１．最後の有効係数（Ｌａｓｔ ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ）の位置（ｘ、ｙ）：符号化対象ブロック内におけるスキャン順序（ｓｃａｎ ｏｒｄｅｒ）上、最も後順位ノンゼロ係数（ｎｏｎ－ｚｅｒｏ ｃｏｅｆｆｉｃｉｅｎｔｓ）の位置（以下、最後の位置と定義される）
【0087】
２．コード化サブブロックフラグ（Ｃｏｄｅｄ ｓｕｂ－ｂｌｏｃｋ ｆｌａｇ）：符号化対象ブロックを多数のサブブロックに分割し、それぞれのサブブロックがノンゼロ係数を一つ以上含んでいるかを知らせるフラグ（あるいは、全てゼロ係数であるかを知らせるフラグ）
【0088】
３．有効係数フラグ（Ｓｉｇｎｉｆｉｃａｎｔ ｃｏｅｆｆｉｃｉｅｎｔ ｆｌａｇ）：一つのサブブロック内のそれぞれの係数がノンゼロであるかゼロであるかを知らせるフラグ
【0089】
ここで、最後の有効係数の位置は、ｘ軸成分、ｙ軸成分に分けて表示され、それぞれの成分は、プレフィックス（ｐｒｅｆｉｘ）及びサフィックス（ｓｕｆｆｉｘ）に分けて表現される。すなわち、量子化された係数のノンゼロ位置を知らせるシンタックス（ｓｙｎｔａｘ）は、下記の総６個のシンタックスを含む。
【0090】
１．ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘ
２．ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ
３．ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ
４．１ａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘ
５．ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ
６．ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ
２．ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘ
３．ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘ
４．１ａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘ
５．ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ
６．ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇ
【0091】
前記ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｐｒｅｆｉｘは、最後の有効係数の位置を示すｘ軸成分のプレフィックスを示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｐｒｅｆｉｘは、最後の有効係数の位置を示すｙ軸成分のプレフィックスを示す。また、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｘ＿ｓｕｆｆｉｘは、最後の有効係数の位置を示すｘ成分のサフィックスを示し、ｌａｓｔ＿ｓｉｇ＿ｃｏｅｆｆ＿ｙ＿ｓｕｆｆｉｘは、最後の有効係数の位置を示すｙ成分のサフィックスを示す。
【0092】
一方、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇは、該サブブロック内の全ての係数が全てゼロ（ａｌｌ ｚｅｒｏ）であれば「０」、一つ以上のノンゼロ係数が存在すれば「１」と表示する。ｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇは、ゼロ係数の場合、「０」と表示し、ノンゼロ係数であれば「１」と表示する。符号化対象ブロック内における最後の有効係数の位置を考慮して、スキャン順序上、以前に存在するサブブロックに限ってｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックスを送信する。ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇが「１」である場合、すなわち、一つ以上のノンゼロ係数が存在する場合、該サブブロック内の全ての係数のそれぞれに対するｓｉｇ＿ｃｏｅｆｆ＿ｆｌａｇシンタックスを送信する。
【0093】
ＨＥＶＣ標準は、係数のための以下の３種類の形態のスキャンを支援する。
【0094】
１）アップライト対角（ｕｐ－ｒｉｇｈｔ ｄｉａｇｏｎａｌ）
２）水平（ｈｏｒｉｚｏｎｔａｌ）
３）垂直（ｖｅｒｔｉｃａｌ）
２）水平（ｈｏｒｉｚｏｎｔａｌ）
３）垂直（ｖｅｒｔｉｃａｌ）
【0095】
符号化対象ブロックが画面間予測方式を用いて符号化する場合、該ブロックの係数は、アップライト対角方式でスキャンされ、ブロックが画面内予測方式で符号化した場合は、画面内予測モードにより前記３種類の形態うち一つを選んで、該ブロックの係数をスキャンするようになる。
【0096】
すなわち、映像符号化装置により符号化対象ブロックが符号化されるとき、画面間予測方式が用いられる場合、該ブロックの係数は、アップライト対角方式でスキャンされ、前記符号化対象ブロックの符号化において画面内予測方式が用いられる場合は、映像符号化装置は、画面内予測モードにより前記３種類の形態のうち一つを選んで、該ブロックの係数をスキャンする。前記スキャンは、図１の映像符号化装置において、再整列部１２４により行われてもよく、スキャンにより、２次元のブロック形態の係数を１次元のベクトル形態に変更してもよい。
【0097】
図５は、対角線スキャン方式についてのサブブロック及び係数のスキャン順序を示す図である。
【0098】
図５を参照すれば、図５のブロックが、映像符号化装置の再整列部１２４により対角線スキャン方式でスキャンされるとき、最も左上端にあるサブブロックである１番サブブロックから下方向及び対角線上の上端方向にスキャンが行われ、右下端の１６番サブブロックに対して最後にスキャンが行われる。すなわち、再整列部１２４は、１、２、３、…、１４、１５、１６番のサブブロック順でスキャンを行って、２次元ブロック形態の量子化された変換係数を１次元のベクトル形態に再整列する。同様に、映像符号化装置の再整列部１２４は、それぞれのサブブロック内の係数に対しても、サブブロックのスキャン方式と同じ対角線スキャン方式でスキャンを行う。例えば、１番サブブロック内では、０、１、２、…、１３、１４、１５番の係数の順でスキャンを行う。
【0099】
但し、スキャンが行われた係数がビットストリームに保存されるとき、保存される順序は、スキャン順序の逆順で保存される。すなわち、図１０のブロックが、映像符号化装置の再整列部１２４によりスキャンされるときは、０番係数から２５５番係数の順でスキャンが行われたが、それぞれの画素がビットストリームに保存される順序は、２５５番位置の画素から０番位置の画素順でビットストリームに保存される。
【0100】
図６は、映像符号化装置による量子化後の３２×３２符号化対象ブロックの一例を示す図である。ここで、図６に示された３２×３２ブロックは、映像符号化装置によりスキャンが行われるとき、任意で対角線方式を用いた。図６において、対角斜線で表示したピクセルは、ノンゼロ係数を示し、ｘ表示されたピクセルは、最後の有効係数を示す。それ以外の白色係数は、全てゼロ値を有する。ここで、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇシンタックスを、図６のブロックに代入すれば、総６４個のサブブロックのうち、スキャン順序上、最後の位置以前に存在する２４個のサブブロック、すなわち、図６において太線で表示したサブブロックに対するｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ情報が必要である。２４個のサブブロックのうち、ＤＣ値を含む一番目のサブブロック及び最後の位置係数を含む２４番目サブブロックのためのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ値は、「１」に誘導され、残りの２２個のサブブロックのためのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ値は、ビットストリームにより映像復号化装置に送信される。このとき、２２個のサブブロックのうち一つ以上のノンゼロ係数を含んでいるサブブロックの場合、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ値が映像符号化装置により「１」に設定される。図６では一番目のサブブロック及び２４番目のサブブロックを除いた２２個のサブブロックのうち、灰色でマーキングされたピクセルを含んでいるサブブロックである４、５、１１、１８番目のサブブロックのｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇ値が「１」に設定される。
【0101】
１．復号化対象ブロックの一次変換タイプの決定方法
本明細書は、映像の復号化過程中、復号化対象ブロックの一次変換のタイプを決める方法について開示する。すなわち、復号化対象ブロックが映像復号化装置により復号化されるときは、映像符号化装置による変換過程において、どんな変換タイプで一次変換されて符号化されたかを判断する過程が必要である。一次変換タイプは、一つのデフォルト変換及び複数の追加変換で構成される。復号化対象ブロックは、条件により、デフォルト変換を用いるか、あるいはデフォルト変換及び追加変換を含む多重変換集合を用いる。すなわち、復号化対象ブロックは、変換過程においてデフォルト変換のみが用いられて変換されているか、デフォルト変換及び追加変換を含む多重変換集合が用いられて変換されていてもよい。映像復号化装置の観点では、反対に復号化対象ブロックがデフォルト変換のみを用いているか、それともデフォルト変換及び追加変換を含む多重変換集合を用いているかを把握して復号化を行ってもよい。復号化対象ブロックがＭＴＳを用いると、複数の変換のうち、実際に用いられる変換に関する情報を送信または誘導する。ここで、実際に用いられる変換に関する情報は、横軸変換タイプ及び縦軸変換タイプが別途に存在してもよい。すなわち、映像復号化装置は、復号化対象ブロックがＭＴＳを用いて変換された場合、複数の変換タイプのうち、どんな変換タイプが用いられて変換されたかを受信または判断して復号化を行ってもよい。
本明細書は、映像の復号化過程中、復号化対象ブロックの一次変換のタイプを決める方法について開示する。すなわち、復号化対象ブロックが映像復号化装置により復号化されるときは、映像符号化装置による変換過程において、どんな変換タイプで一次変換されて符号化されたかを判断する過程が必要である。一次変換タイプは、一つのデフォルト変換及び複数の追加変換で構成される。復号化対象ブロックは、条件により、デフォルト変換を用いるか、あるいはデフォルト変換及び追加変換を含む多重変換集合を用いる。すなわち、復号化対象ブロックは、変換過程においてデフォルト変換のみが用いられて変換されているか、デフォルト変換及び追加変換を含む多重変換集合が用いられて変換されていてもよい。映像復号化装置の観点では、反対に復号化対象ブロックがデフォルト変換のみを用いているか、それともデフォルト変換及び追加変換を含む多重変換集合を用いているかを把握して復号化を行ってもよい。復号化対象ブロックがＭＴＳを用いると、複数の変換のうち、実際に用いられる変換に関する情報を送信または誘導する。ここで、実際に用いられる変換に関する情報は、横軸変換タイプ及び縦軸変換タイプが別途に存在してもよい。すなわち、映像復号化装置は、復号化対象ブロックがＭＴＳを用いて変換された場合、複数の変換タイプのうち、どんな変換タイプが用いられて変換されたかを受信または判断して復号化を行ってもよい。
【0102】
一実施形態によれば、ＤＣＴ－IIがデフォルト変換に設定され、ＤＳＴ－７及びＤＣＴ－８が追加変換に設定されてもよい。このとき、デフォルト変換であるＤＣＴ－IIの最大サイズは６４×６４まで支援され、追加変換であるＤＳＴ－７及びＤＣＴ－８の最大サイズは３２×３２まで支援される。例えば、復号化対象ブロックのサイズが６４×６４である場合、一つの６４×６４のＤＣＴ－IIを変換過程に適用する。すなわち、復号化対象ブロックの幅及び高さの一つ以上が３２よりも大きな（３２を超える）場合、ＭＴＳを適用することなく、直ちにデフォルト変換（＊）を適用する。すなわち、映像復号化装置の観点では、復号化対象ブロックの横及び縦のサイズが全て３２以下である場合にのみ、ＭＴＳが用いられて変換されたか否かを判断すればよい。これに対して、復号化対象ブロックの横または縦のサイズの一つが３２よりも大きい場合は、デフォルト変換が適用されて変換されたと判断されてもよい。このように、復号化対象ブロックがデフォルト変換により変換された場合、ＭＴＳと関連して送信されるシンタックス情報は存在しない。本発明では、便宜上、ＤＣＴ－IIの変換タイプ値を「０」に設定し、ＤＳＴ－７の変換タイプ値は「１」に、ＤＣＴ－８の変換タイプ値を「２」に設定するが、これに限定しない。以下の表２は、ｔｒＴｙｐｅシンタックスの各値に割り当てられる変換タイプを定義する。
【0103】
【表2】
【0104】
表３及び表４は、複合化対象ブロックのサイズが４×４であるとき、ＤＳＴ－７及びＤCＴ－８の変換カーネルの一例を示す。
【0105】
表３は、ｔｙＴｙｐｅが「１」（ＤＳＴ－７）であり、復号化対象ブロックのサイズが４×４である場合の該変換カーネルの係数値を示し、表４は、ｔｙＴｙｐｅが「２」（ＤＣＴ－８）であり、復号化対象ブロックのサイズが４×４である場合の該変換カーネルの係数値を示す。
【0106】
【表3】
【0107】
【表4】
【0108】
復号化対象ブロックの全体の変換領域には、ゼロアウト領域が含まれてもよい。変換は、ピクセルドメインの値を周波数ドメイン値に変換するが、このとき、左上側の周波数領域を低周波領域、右下側の周波数領域を高周波領域と称する。低周波成分は、該ブロックの一般的な（平均的な）特性を反映し、高周波成分は、該ブロックの鋭い（特異な）特性を反映する。そのため、低周波成分は、多数個の大きな値が存在し、高周波成分は、少数個の小さな値が存在する。変換後の量子化過程により、高周波領域内の少数個の小さな値は、大部分０値を有するようになる。ここで、左上側に属する低周波領域のほか、殆ど０値を有する残りの領域をゼロアウト領域と指称し、ゼロアウト領域は、シグナリング過程で除外されてもよい。復号化対象ブロック内のゼロアウト領域を除いた領域を有効領域と指称する。
【0109】
図７は、Ｍ×Ｎ復号化対象ブロックの領域中、ｍ×ｎを除いた残りのゼロアウト領域を示す図である。
【0110】
図７を参照すれば、左上側の灰色領域は、低周波領域を示し、白い領域は、高周波のゼロアウトを示す。
【0111】
他の例示として、復号化対象ブロックが６４×６４である場合、左上側の３２×３２領域は、有効領域となり、これを除いた残りの領域がゼロアウト領域となり、シグナリングされない。
【0112】
また、復号化対象ブロックのサイズが６４×６４、６４×３２、３２×６４の一つである場合、左上側の３２×３２領域は、有効領域となり、これを除いた残りの部分はゼロアウト領域となり、復号化器が量子化された係数に対するシンタックスをパーシングするとき、ブロックのサイズが知っているので、ゼロアウト領域は、シグナリングされない。すなわち、前記復号化対象ブロックの幅または高さが３２よりも大きな領域が、ゼロアウト領域に設定される。このとき、復号化対象ブロックの横または縦のサイズが３２よりも大きな場合に相当するので、用いられる変換は、デフォルト変換であるＤＣＴ－IIとなる。追加変換であるＤＳＴ－７及びＤＣＴ－８の最大サイズは、３２×３２まで支援されるため、このようなサイズの対象ブロックでは、ＭＴＳが適用されない。
【0113】
また、復号化対象ブロックのサイズが３２×３２、３２×１６、１６×３２の一つであり、かつ前記復号化対象ブロックにＭＴＳが適用される場合（例えば、ＤＳＴ－７またはＤＣＴ－８を用いた場合）、左上側の１６×１６領域は、有効領域となり、これを除いた残りの部分は、ゼロアウト領域に設定される。ここで、ゼロアウト領域は、最後の有効係数の位置及びスキャン方法によりシグナリングされてもよい。これは、符号化器は、量子化された係数関連シンタックスのシグナリングを終えた後、ＭＴＳインデックス（ｍｔｓ＿ｉｄｘ）値をシグナリングするので、復号化器が量子化された係数に対するシンタックスをパーシングするときは、変換タイプに関する情報が分からないからである。このようにゼロアウト領域がシグナリングされる場合、復号化器は、ゼロアウト領域に相当する量子化された係数を無視または除去した後、有効領域に対してのみ変換を行うことができる。ここで、実際に用いられる変換タイプに関する情報は、横軸変換タイプ及び縦軸変換タイプが別途に存在してもよい。例えば、復号化対象ブロックの横軸変換タイプがＤＳＴ－７またはＤＣＴ－８である場合、前記復号化対象ブロックの横軸（幅）有効領域は１６となり、復号化対象ブロックの縦軸変換タイプがＤＳＴ－７またはＤＣＴ－８である場合、前記復号化対象ブロックの縦軸（高さ）有効領域は１６となる。
【0114】
一方、復号化対象ブロックのサイズが３２×３２、３２×１６、１６×３２の一つであり、かつ前記復号化対象ブロックにＭＴＳが適用されない場合（例えば、デフォルト変換であるＤＣＴ－IIを用いた場合）、全ての領域が有効な領域であり、ゼロアウト領域は存在せずに、デフォルト変換であるＤＣＴ－IIを用いて変換される。ここで、実際に用いられる変換に関する情報は、横軸変換タイプ及び縦軸変換タイプが別途に存在してもよい。例えば、復号化対象ブロックの横軸変換タイプがＤＣＴ－IIである場合、前記復号化対象ブロックの横軸（幅）有効領域は、該ブロックの幅となり、復号化対象ブロックの縦軸変換タイプがＤＣＴ－IIである場合、前記復号化対象ブロックの縦軸（高さ）有効領域は、該ブロックの高さとなる。すなわち、前記復号化対象ブロックの全ての領域（幅×高さ）が有効領域となる。
【0115】
一方、復号化対象ブロックが上記で正義されていない１６よりも小さなサイズを有する場合、全ての領域が有効領域となり、ゼロアウト領域は存在しない。復号化対象ブロックのＭＴＳの適用如何及び変換タイプ値は、暗黙的及び／または明示的な実施形態により決まる。
【0116】
本発明では、変換及び量子化過程を経た量子化された係数のうち、ノンゼロ係数の位置を表現するシンタックスの内容は、ＨＥＶＣ方式と同じである。但し、ｃｏｄｅｄ＿ｓｕｂ＿ｂｌｏｃｋ＿ｆｌａｇのシンタックス名をｓｂ＿ｃｏｄｅｄ＿ｆｌａｇに変更して用いる。また、量子化された係数をスキャンする方式は、アップライト対角方式を用いる。
【0117】
本発明において、ＭＴＳは、ルーマブロックに適用されてもよい（クロマブロックには適用されない）。また、ＭＴＳの使用如何を示すフラグ、すなわち、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇを用いて、ＭＴＳ機能をオン／オフすることができる。ＭＴＳ機能を用いる場合、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎに設定され、画面内予測及び画面間予測のそれぞれに対する明示的ＭＴＳ機能の使用如何を設定することができる。すなわち、画面内予測時のＭＴＳ使用如何を示すフラグのｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及び画面間予測時のＭＴＳ使用如何を示すフラグのｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇを別途に設定してもよい。この明細書では、便宜上、３種類のＭＴＳの使用如何を示すフラグのｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、及びｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）内に位置すると記述しているが、これに限定されない。すなわち、前記３つのフラグは、ＤＣＩ（ｄｅｃｏｄｉｎｇ ｃａｐａｂｉｌｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ）、ＶＰＳ（ｖｉｄｅｏ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＳＰＳ（ｓｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）、ＰＨ（ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）、ＳＨ（ｓｌｉｃｅ ｈｅａｄｅｒ）の一つ以上の位置において、それぞれ設定されてもよい。また、前記３つのＭＴＳの使用如何を示すフラグは、ＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）と正義されてもよい。
【0118】
ＭＴＳの使用は、明示的方法と暗黙的方法に分けられる。明示的ＭＴＳの使用は、ＳＰＳ内において画面内及び／または画面間のＭＴＳの使用如何を示すフラグ値がオンに設定され、特定の条件を満たす場合、ＭＴＳ関連情報（例えば、実際に用いられる変換情報）を送信する。すなわち、映像復号化装置は、ＭＴＳ関連情報を受信し、これに基づき、復号化対象ブロックがどんな変換タイプを用いて変換されたかを確認し、これに基づき、復号化を行うことができる。例えば、明示的ＭＴＳが用いられる環境では、前記３つのフラグが下記のように設定されてもよい。
【0119】
１．ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
２．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
３．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
２．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
３．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
【0120】
暗黙的ＭＴＳの使用は、ＳＰＳ内において３つのフラグのうち、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値がオンに設定され、特定の条件を満たす場合、ＭＴＳ関 連情報（例えば、実際に用いられる変換情報）を誘導する。例えば、暗黙的ＭＴＳが用いられる環境では、前記３つのフラグが下記のように設定されてもよい。
【0121】
１．ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
２．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｆｆ
３．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｆｆ（オン、オフを問わず）
２．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｆｆ
３．ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｆｆ（オン、オフを問わず）
【0122】
以下、いくつかの実施形態により、暗黙的ＭＴＳ方法及び明示的ＭＴＳ方法について記述する。
【0123】
２．第１実施形態（暗黙的ＭＴＳ）
この実施形態で説明する暗黙的ＭＴＳは、復号化対象ブロックが画面内予測方法で符号化された場合に用いられてもよい。すなわち、復号化対象ブロックが映像符号化装置により符号化されるとき、画面内予測方法で符号化された場合、映像符号化装置及び／または映像復号化装置により、暗黙的ＭＴＳを用いて、符号化及び／または復号化が行われてもよい。一方、復号化対象ブロックを復号化するとき、暗黙的ＭＴＳを用いるか否かは、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄパラメータにより指示されてもよい。映像復号化装置は、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄパラメータの値を確認して、暗黙的ＭＴＳを用いて復号化を行うか否かを決めてもよい。例えば、復号化に暗黙的ＭＴＳが用いられる場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅパラメータは、１の値を有してもよく、そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅパラメータは、０の値を有してもよい。一方、この明細書において、前記ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、場合に応じて、「ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ」で表示されてもよい。
この実施形態で説明する暗黙的ＭＴＳは、復号化対象ブロックが画面内予測方法で符号化された場合に用いられてもよい。すなわち、復号化対象ブロックが映像符号化装置により符号化されるとき、画面内予測方法で符号化された場合、映像符号化装置及び／または映像復号化装置により、暗黙的ＭＴＳを用いて、符号化及び／または復号化が行われてもよい。一方、復号化対象ブロックを復号化するとき、暗黙的ＭＴＳを用いるか否かは、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄパラメータにより指示されてもよい。映像復号化装置は、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄパラメータの値を確認して、暗黙的ＭＴＳを用いて復号化を行うか否かを決めてもよい。例えば、復号化に暗黙的ＭＴＳが用いられる場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅパラメータは、１の値を有してもよく、そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅパラメータは、０の値を有してもよい。一方、この明細書において、前記ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、場合に応じて、「ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ」で表示されてもよい。
【0124】
このような暗黙的ＭＴＳが適用されるためのＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）の条件について調べると、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、暗黙的であるか明示的であるかを問わず、ＭＴＳが適用されるか否かを示すフラグであるので、暗黙的ＭＴＳが適用されるためには、「オン」に設定されなければならない。一方、暗黙的ＭＴＳは、復号化対象ブロックが映像符号化装置により符号化されるとき、画面内予測方法で符号化された場合に用いられる。したがって、映像復号化装置は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値を確認することにより、暗黙的ＭＴＳの使用如何を決めることができる。但し、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、復号化対象ブロックが映像符号化装置により符号化されるとき、画面内予測方法で符号化され、明示的ＭＴＳが適用される場合に「オン」に設定される。したがって、復号化対象ブロックが映像符号化装置により暗黙的ＭＴＳで符号化された場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、「オフ」に設定される。一方、上記で説明されたように、暗黙的ＭＴＳは、復号化対象ブロックが映像符号化装置により画面内予測方法で符号化された場合に用いられる。したがって、復号化対象ブロックが映像符号化装置により画面内予測方法で符号化された場合の明示的ＭＴＳを示すｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が、どんな値を有するかは重要でない。一方、暗黙的ＭＴＳは、復号化対象ブロックが映像符号化装置により画面内予測方法で符号化された場合に用いられてもよいので、ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡの値を有する場合に適用されてもよい。
【0125】
まとめると、復号化対象ブロックが映像復号化装置により暗黙的ＭＴＳを用いて復号化されるための条件は、以下のように羅列され得る。
【0126】
１）ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ １
２）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
３）ＣｕＰｒｅｄＭｏｄｅ ｉｓ ｅｑｕａｌ ｔｏ ＭＯＤＥ＿ＩＮＴＲＡ（画面内予測方法）
２）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
３）ＣｕＰｒｅｄＭｏｄｅ ｉｓ ｅｑｕａｌ ｔｏ ＭＯＤＥ＿ＩＮＴＲＡ（画面内予測方法）
【0127】
一方、ルーマブロックにおける現在位置の予測モードを示すＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］は、ＭＯＤＥ＿ＩＮＴＲＡ値を有してもよい。
【0128】
暗黙的ＭＴＳの使用が可能な追加的な条件は、次の通りである。
【0129】
４）ｌｆｎｓｔ＿ｉｄｘ ｉｓ ｅｑｕａｌ ｔｏ ０
５）ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ ｉｓ ｅｑｕａl to ０
５）ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ ｉｓ ｅｑｕａl to ０
【0130】
ここで、ｌｆｎｓｔ＿ｉｄｘ値は、二次変換（ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を示し、ｌｆｎｓｔ＿ｉｄｘ＝０である場合、二次変換を用いていないことを意味する。Ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ値は、画面内予測方法の一つである行列を用いた予測方法（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ：ｍｉｐ）を用いたか否かを指示する。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ＝０である場合、行列を用いた予測を用いていないことを意味し、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ＝１である場合、行列を用いた予測を用いていることを意味する。
【0131】
すなわち、この実施形態は、一般的な画面内予測方法で予測しながら、二次変換を用いない復号化対象ブロックのための一次変換タイプ（あるいは、ＭＴＳ）を設定する方法について記述する。前記５つの条件を全て満たす場合、暗黙的ＭＴＳ機能が活性化される（図１３参考）。
【0132】
【0133】
図８を参照すれば、映像復号化装置は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅ＿ｆｌａｇが１の値を有し、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅ＿ｆｌａｇが０の値を有し、ＣｕＰｒｅｄＭｏｄｅがＭＯＤＥ＿ＩＮＴＲＡ値を有するか否かを判断する（Ｓ８１０）。判断の結果、前記Ｓ８１０の条件を全て満たす場合、映像復号化装置は、ｌｆｎｓｔ＿ｉｄｘが０の値を有し、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが０の値を有するか否かを判断し（Ｓ８２０）、Ｓ８１０の条件とＳ８２０の条件を全て満たす場合、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ値を１に設定する（Ｓ８３０）。一方、映像復号化装置は、前記Ｓ８１０またはＳ８２０の条件を一つでも満たさない場合、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ値を０に設定する（Ｓ８４０）。
【0134】
復号化対象ブロックに対する暗黙的ＭＴＳ機能が活性化されると（ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ＝ｏｎ）、該ブロックの幅及び高さにより、ＭＴＳ値（実際に用いられる変換情報）を誘導する（図９参考）。このとき、変換は、対象ブロックの一部のみが変換過程を経るサブブロック変換（ｓｕｂ－ｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ；ｓｂｔ）であってはならない。すなわち、対象ブロックのｃｕ＿ｓｂｔ＿ｆｌａｇ値は、「０」である。
【0135】
【0136】
図９を参照すれば、映像復号化装置は、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ値が「１」であるか否かを判断する（Ｓ９１０）。このとき、図示されてはいないが、映像復号化装置は、ｃｕ＿ｓｂｔ＿ｆｌａｇ値が「０」の値を有するかをさらに確認してもよい。このとき、ｃｕ＿ｓｂｔ＿ｆｌａｇが「１」の値を有する場合は、復号化対象ブロックが、対象ブロックの一部のみが変換過程を経るサブブロック変換により変換されたことを示す。これに対して、ｃｕ＿ｓｂｔ＿ｆｌａｇが「０」の値を有する場合は、復号化対象ブロックが、対象ブロックの一部のみが変換過程を経るサブブロック変換により変換されていないことを示す。したがって、図１４による動作は、前記ｃｕ＿ｓｂｔ＿ｆｌａｇが「０」の値を有する場合にのみ動作するように設定されてもよい。
【0137】
ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ値が１である場合、ｎＴｂＷの値が４以上１６以下の値を有するか否かを判断し（Ｓ９２０）、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ値が「１」ではない場合、動作を終了する。ｎＴｂＷは、該変換ブロックの幅を示し、横軸方向に追加変換タイプであるＤＳＴ－７が用いられるか否かを判断するために用いられる。
【0138】
ステップＳ９２０の判断の結果、ｎＴｂＷの値が４以上１６以下の値を有する場合、ｔｒＴｙｐｅＨｏｒを「１」に設定し（Ｓ９３０）、ｎＴｂＷの値が４以上１６以下の値を有さない場合、ｔｒＴｙｐｅＨｏｒを「０」に設定する（Ｓ９４０）。このとき、前記ｎＴｂＷは、該変換ブロックの幅を示し、横軸方向に追加変換タイプであるＤＳＴ－７が用いられるか否かを判断するために用いられる。このとき、ｔｙＴｙｐｅＨｏｒが「０」に設定された場合は、該変換ブロックが横軸方向にデフォルトタイプ変換であるＤＣＴ－II変換を用いて変換されたと判断することができる。一方、前記ｔｒＴｙｐｅＨｏｒが「１」に設定された場合は、該変換ブロックが横軸方向に追加変換タイプの一つであるＤＳＴ－７変換を用いて変換されたと判断することができる。
【0139】
また、映像復号化装置は、ｎＴｂＨの値が４以上１６以下の値を有するか否かを判断し（Ｓ９５０）、ｎＴｂＨの値が４以上１６以下の値を有する場合、ｔｒＴｙｐｅＶｅｒを「１」に設定し（Ｓ９６０）、ｎＴｂＷの値が４以上１６以下の値を有さない場合、ｔｒＴｙｐｅＶｅｒを「０」に設定する（Ｓ９７０）。前記ｎＴｂＨは、該変換ブロックの高さを示し、縦軸方向に追加変換タイプであるＤＳＴ－７が用いられるか否かを判断するために用いられる。このとき、ｔｒＴｙｐｅＶｅｒが「０」に設定された場合は、該変換ブロックが縦軸方向にデフォルトタイプ変換であるＤＣＴ－II変換を用いて変換されたと判断することができる。一方、前記ｔｒＴｙｐｅＶｅｒが「１」に設定された場合は、該変換ブロックが縦軸方向に追加変換タイプの一つであるＤＳＴ－７変換を用いて変換されたと判断することができる。
【0140】
【0141】
図１０を参照すれば、映像復号化装置は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］、ｌｆｎｓｔ＿ｉｄｘ、ＩｎｔｒａＭｉｐＦｌａｇ［ｘ０， Ｙ０］、ＮＴｂＷ、ｎＴｂＨを取得する（Ｓ１０１０）。このとき、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］、ｌｆｎｓｔ＿ｉｄｘ、ＩｎｔｒａＭｉｐＦｌａｇ［ｘ０，Ｙ０］が、それぞれ何を示すかについては、図８の関連説明で詳しく説明されており、前記パラメータは、復号化対象ブロックが暗黙的ＭＴＳを適用することができるか否かを判断するために用いられる。また、ＮＴｂＷ、ｎＴｂＨは、それぞれ該変換ブロックの幅及び高さを示し、追加変換タイプであるＤＳＴ－７が用いられるか否かを判断するために用いられる。
【0142】
次に、映像復号化装置は、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］、Ｌｆｎｓｔ＿ｉｄｘ、ＩｎｔｒａＭｉｐＦｌａｇ［ｘ０，Ｙ０］値に基づき、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄを設定する（Ｓ１０２０）。このとき、前記ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅは、図１３のプロセスを行うことにより設定されてもよい。
【0143】
次に、映像復号化装置は、ｉｍｐｌｉｃｉｔ＿ＭＴＳ＿ｅｎａｂｌｅｄ、ｎＴｂＷ、ｎＴｂＨの値に基づき、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒを設定する（Ｓ１０３０）。このとき、前記ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、図９のプロセスを行うことにより設定されてもよい。
【0144】
次に、映像復号化装置は、ｔｒＴｙｐｅＨｏｒ、ｔｒＴｙｐｅＶｅｒに基づき、逆変換を行う（Ｓ１０４０）。ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒにより適用される逆変換は、表２により構成されてもよい。例えば、ｔｒＴｙｐｅＨｏｒが「１」であり、ｔｒＴｙｐｅＶｅｒが「０」である場合、横軸方向にはＤＳＴ－７が適用され、縦軸方向にはＤＳＴ－IIが適用されてもよい。
【0145】
一方、図示されてはいないが、映像符号化装置の観点では、暗黙的ＭＴＳの使用如何を設定するために、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］、ｌｆｎｓｔ＿ｉｄｘ、ＩｎｔｒａＭｉｐＦｌａｇ［ｘ０， Ｙ０］、ＮＴｂＷ、ｎＴｂＨを設定してもよい。
【0146】
３. 第２実施形態（明示的ＭＴＳ）
本実施形態では、ＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）で明示的にＭＴＳ機能を活性化する場合、復号化対象ブロックに適用される変換方法を説明する。明示的ＭＴＳが適用されるためのＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）の条件に調べると、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、暗黙的であるか明示的であるかを問わず、ＭＴＳが適用されるか否かを示すフラグであるので、暗黙的ＭＴＳが適用されるためには、「オン」に設定されなければならない。一方、明示的ＭＴＳは、復号化対象ブロックが画面内予測方法で符号化された場合と画面間予測方法で符号化された場合に全て適用されてもよいので、明示的ＭＴＳが適用される場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及び／またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが全て「オン」に設定される。まとめると、以下の条件のように羅列され得る。
本実施形態では、ＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）で明示的にＭＴＳ機能を活性化する場合、復号化対象ブロックに適用される変換方法を説明する。明示的ＭＴＳが適用されるためのＨＬＳ（ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ）の条件に調べると、ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、暗黙的であるか明示的であるかを問わず、ＭＴＳが適用されるか否かを示すフラグであるので、暗黙的ＭＴＳが適用されるためには、「オン」に設定されなければならない。一方、明示的ＭＴＳは、復号化対象ブロックが画面内予測方法で符号化された場合と画面間予測方法で符号化された場合に全て適用されてもよいので、明示的ＭＴＳが適用される場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ及び／またはｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが全て「オン」に設定される。まとめると、以下の条件のように羅列され得る。
【0147】
１） ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
２）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
３）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
２）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
３）ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝ｏｎ
【0148】
ここで、復号化対象ブロックが画面内予測方法で符号化された場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝「ｏｎ」の条件を確認し、復号化対象ブロックが画面間予測方法で符号化された場合、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ＝「ｏｎ」の条件を確認する。
【0149】
明示的ＭＴＳの使用が可能な追加的な条件は、次の通りである。
【0150】
４）ｌｆｎｓｔ＿ｉｄｘ ｉｓ ｅｑｕａｌ ｔｏ ０（暗黙的ＭＴＳ参考）
５）ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
６）ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
７）ｃｕ＿ｓｂｔ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０（暗黙的ＭＴＳ参考）
８）ｖａｌｉｄ ＭＴＳ領域
９）対象ブロックの幅及び高さが３２以下
５）ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
６）ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０
７）ｃｕ＿ｓｂｔ＿ｆｌａｇ ｉｓ ｅｑｕａｌ ｔｏ ０（暗黙的ＭＴＳ参考）
８）ｖａｌｉｄ ＭＴＳ領域
９）対象ブロックの幅及び高さが３２以下
【0151】
ここで、ｌｆｎｓｔ＿ｉｄｘ値は、二次変換を示し、ｌｆｎｓｔ＿ｉｄｘ＝０である場合、二次変換を用いていないことを意味する。
【0152】
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ値は、変換過程を省略することを指示し、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ＝０である場合、変換過程を省略することなく、正常に変換を進行することを示す。ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ値は、画面内予測方法の一つとして、対象ブロックを多数個のサブブロックに分けて、予測、変換、量子化過程を経ることを指示する。すなわち、該フラグ値（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）が「０」である場合、対象ブロックをサブブロックに分けずに、一般的な画面内予測を行ったことを意味する。一方、追加変換（ｅｘｔｒａ ｔｒａｎｓｆｏｒｍｓ）（ＤＳＴ－７及びＤＣＴ－８）の支援されるサイズにより（最大３２×３２まで支援する、上述している）、ＭＴＳの使用が制限されてもよい。すなわち、対象ブロックの幅及び高さが３２以下でなければ、ＭＴＳの使用ができない。すなわち、幅及び高さのうち一つでも３２を超えると、（ＭＴＳの使用ができない）デフォルト変換（ｄｅｆａｕｌｔ ｔｒａｎｓｆｏｒｍ）（＊）であるＤＣＴ－IIが行われる。
【0153】
ｃｕ＿ｓｂｔ＿ｆｌａｇは、対象ブロックの一部のみが変換過程を経るサブブロック変換（ｓｕｂ－ｂｌｏｃｋ ｔｒａｎｓｆｏｒｍ、ｓｂｔ）であるか否かを指示する。すなわち、ｃｕ＿ｓｂｔ＿ｆｌａｇ値が「０」である場合、対象ブロックの一部のみが変換過程を経るサブブロック変換ではないことを意味する。
【0154】
以下、有効領域（以下、有効ＭＴＳ領域という）について詳細に説明する。
【0155】
図１１は、３２×３２復号化対象ブロック内において太線でマーキングした有効ＭＴＳ領域を示す図である。
【0156】
図１１を参照すれば、ＤＣ係数を除いた左上側の１６×１６領域が、有効ＭＴＳ領域となる。すなわち、１×１（ＤＣ）領域を除いた左上側の１６×１６領域が有効ＭＴＳ領域である。例えば、対象ブロック内の全てのノンゼロ係数の位置が、有効ＭＴＳ領域に属すれば、ＭＴＳが適用可能であり、一つ以上のノンゼロ係数値が有効ＭＴＳ領域を外れれば、ＭＴＳ適用が不可能であり、デフォルト変換（＊）であるＤＣＴ－IIが行われる。これは、上述したゼロアウト領域と同じ概念である。すなわち、３２×３２対象ブロックがＭＴＳ（すなわち、ＤＳＴ－７またはＤＣＴ－８）を用いると、左上側の１６×１６は、有効領域となり、残りの部分は、ゼロアウト領域となるのと同様に、３２×３２対象ブロック内の全てのノンゼロ係数が左上側の１６×１６領域に位置すれば、ＭＴＳ（すなわち、ＤＳＴ－７またはＤＣＴ－８）の適用が可能である。但し、例外的にブロック内のノンゼロ係数が一つであり、その位置がＤＣ（１ｘ１）であれば、ＭＴＳの適用が不可能であって、デフォルト変換（＊）であるＤＣＴ－IIが行われる。
【0157】
結果的に、この実施形態では、ＭＴＳが適用可能か否かを決めるために、有効ＭＴＳ領域を確認しなければならず、有効ＭＴＳ領域の確認のためには、下記の２条件を確認しなければならない。
【0158】
（ａ）ブロック内のノンゼロ係数が一つであるとき、その位置がＤＣ（１ｘ１）であるか
（ｂ）ブロック内の全てのノンゼロ係数が、左上側の１６×１６領域に位置するか
（ｂ）ブロック内の全てのノンゼロ係数が、左上側の１６×１６領域に位置するか
【0159】
前記（ａ）条件を確認するために、最後の位置の情報を活用してもよい。ここで、最後の位置とは、対象ブロック内のスキャン順序上、最後に位置するノンゼロ係数、すなわち、最後の有効係数の位置を意味する。一例として、最後の位置、すなわち、最後のノンゼロ係数を含む最後のサブブロックの情報を活用してもよい。例えば、最後のサブブロックの位置が（０，０）でなければ、（ａ）条件を満たすことができる。言い換えれば、対象ブロック内のサブブロックのスキャン順序上、最後のサブブロックの位置が「０」でなければ（０よりも大きければ）、（ａ）条件を満たすことができる。または、最後のサブブロックの位置が「０」であれば、該サブブロック内の最後の位置の相対的位置を示す最後のスキャン位置の情報を活用してもよい。例えば、該サブブロック内の係数のスキャン順序上、最後のスキャン位置が「０」でなければ（０よりも大きければ）、（ａ）条件を満たすことができる（図１２参考）。また、上述したように、本発明のＭＴＳは、ルーマブロックに適用される。
【0160】
前記（ｂ）条件を確認するために、一つ以上のノンゼロ係数を含むサブブロック情報を活用してもよい。ここで、一つ以上のノンゼロ係数を含むサブブロック情報は、該サブブロックのｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値で確認可能である。該フラグ値が「１」である場合（ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ＝１）、該サブブロック内には、一つ以上のノンゼロ係数が位置することを意味し、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ＝０である場合、該サブブロック内の全ての係数が全てゼロであることを意味する。すなわち、対象ブロック内のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」である全てのサブブロックの位置が（０，０）から（３，３）以内に位置すると、（ｂ）条件を満たすことができる。これに対して、対象ブロック内のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」であるサブブロックの一つでも（０，０）から（３,３）以内の位置から外れると、（ｂ）条件を満たすことができない。言い換えれば、対象ブロック内のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」であるサブブロックの一つでも、サブブロックのｘ座標またはｙ座標のうち３よりも大きな値があれば、（ｂ）条件を満足することができない（図１８参考）。他の実施形態において、対象ブロック内のサブブロックのスキャン順序上、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」でありながら、サブブロックのｘ座標またはｙ座標のうち３よりも大きな値を有する一番目のサブブロックが発見されれば、（ｂ）条件を虚偽（ｆａｌｓｅ）に設定し、スキャン順序上、以後のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」であるサブブロックの確認過程を省略してもよい（図１３参考）。また、上記で説明したように、本発明のＭＴＳは、ルーマブロックに適用される。
【0161】
図１２は、本発明の一実施形態による有効ＭＴＳの判断方法を示す図である。図１２の実施形態は、上記で説明された有効ＭＴＳ領域の確認のための２つの条件のうち、（ａ）の条件を確認する方法に関するものである。図１２のそれぞれのステップは、映像復号化装置内で行われてもよい。
【0162】
図１２を参照すれば、映像復号化装置は、ＭｔｓＤｃＯｎｌｙＦｌａｇを「１」に設定する（Ｓ１２１０）。前記ＭｔｓＤｃＯｎｌｙＦｌａｇは、ブロック内のノンゼロ係数が一つであり、その位置がＤＣであるか否かを指示することができる。例えば、ブロック内のノンゼロ係数が一つであり、その位置がＤＣである場合、前記ＭｔｓＤｃＯｎｌｙＦｌａｇは「１」の値を有し、その他の場合は、ＭｔｓＤｃＯｎｌｙＦｌａｇは「０」の値を有する。このとき、映像復号化装置は、ＭｔｓＤｃＯｎｌｙＦｌａｇ値が「０」を有する場合、ＭＴＳが適用されてもよい。ステップＳ１２１０において、ＭｔｓＤｃＯｎｌｙＦｌａｇを「１」に設定する理由は、該ブロックが、以下のブロック内のノンゼロ係数が一つである場合、ＤＣ位置にない条件を満たすとき、ＭｔｓＤｃＯｎｌｙＦｌａｇを「０」に再設定し、そうではないときは、ＭＴＳを適用しないためである。
【0163】
次に、映像復号化装置は、対象ブロックがルーマブロックであるか否かを判断する（Ｓ１２２０）。対象ブロックがルーマブロックであるか否かを判断する目的は、上記で説明したように、ＭＴＳは、ルーマブロックにのみ適用されるからである。
【0164】
次に、映像復号化装置は、最後のサブブロックが０よりも大きいか否かを判断し（Ｓ１２３０）、最後のサブブロックが０よりも大きい場合、ＭｔｓＤｃＯｎｌｙＦｌａｇを「０」に設定し（Ｓ１２４０）、プロセスを終了する。
【0165】
ステップＳ１２３０の判断の結果、最後のサブブロックが０よりも大きくなければ、最後のスキャン位置が０よりも大きいか否かを判断する（Ｓ１２５０）。
【0166】
ステップＳ１２５０の判断の結果、最後のスキャン位置が０よりも大きい場合、ＭｔｓＤｃＯｎｌｙＦｌａｇを「０」に設定し（Ｓ１２４０）、プロセスを終了する。
【0167】
ステップＳ１２５０の判断の結果、最後のスキャン位置が０よりも大きくなければ、プロセスを終了する。
【0168】
この実施形態によれば、最後のサブブロックが０よりも大きいか、最後のスキャン位置が０よりも大きければ、ＭｔｓＤｃＯｎｌｙＦｌａｇを「０」に設定し、そうではない場合は、ＭｔｓＤｃＯｎｌｙＦｌａｇを「１」に設定する。
【0169】
以降、ＭＴＳを適用するか否かを決めるとき、ＭｔｓＤｃＯｎｌｙＦｌａｇを確認して「１」の値を有する場合は、ＭＴＳを適用せずに、デフォルト変換であるＤＣＴ－IIが適用されてもよい。
【0170】
図１３は、本発明の他の実施形態による有効ＭＴＳ領域を判断する方法を示す図である。図１３の実施形態は、上記で説明された有効ＭＴＳ領域の確認のための２つの条件のうち、（ｂ）の条件を確認する方法を具体的に示す。図１３のそれぞれのステップは、映像復号化装置内で行われてもよい。
【0171】
図１３を参照すれば、映像復号化装置は、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「１」に設定する（Ｓ１３０５）。前記ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、ブロック内のノンゼロ係数がゼロアウト領域に存在するか否かを指示する。例えば、ブロック内のノンゼロ係数のうち少なくとも一つがゼロアウト領域に存在する場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは「０」の値を有し、ブロック内の全てのノンゼロ係数がゼロアウト領域に存在しない場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは「１」の値を有してもよい。この実施形態では、ブロック内の全てのノンゼロ係数がゼロアウト領域に存在しないと仮定して、ＭｔｓＺｅｒｏｏｕｔＦｌａｇの初期値を「１」に設定し、ゼロアウト領域の条件とノンゼロ係数の条件を同時に満たす場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「０」に設定してもよい。このとき、「０」の値を有するＭｔｓＺｅｒｏｏｕｔＦｌａｇが存在する場合は、明示的ＭＴＳを適用しなくてもよい。
【0172】
次に、映像復号化装置は、変数ｉの初期値を最後のサブブロックの値に設定するが、前記変数ｉの値から１ずつを差し引き、変数ｉの値が０となるまで、以下のステップＳ１３２５乃至ステップＳ１３５０のプロセスを繰り返して行う（Ｓ１３２０）。ステップＳ１８２０のルーチンを繰り返して行う目的は、最後のサブブロックから一番目のサブブロックまで、全てのサブブロックのｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値を確認するためである。上述のように、該フラグ値が「１」である場合、該サブブロック内には一つ以上のノンゼロ係数が存在することを意味し、該フラグ値が「０」である場合、該サブブロック内にはノンゼロ係数が存在しないことを意味する。したがって、図１１を参照すれば、対象ブロック内のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」である全てのサブブロックの位置が（０，０）から（３，３）内にのみ存在する場合、すなわち、変数ｉを基準として０乃至８以内にのみ存在する場合は、明示的ＭＴＳを適用するための（ｂ）条件が満たされたと判断されてもよい。
【0173】
次に、映像復号化装置は、変数ｉが最後のサブブロックよりも小さく（ｉ＜最後のサブブロック）、変数ｉが０よりも大きい（ｉ＞０）という条件を同時に満たすか否かを判断する（Ｓ１３２５）。例えば、ステップＳ１３２０のルーチンが初めて実行されるときは、変数ｉの初期値が最後のサブブロックと同じ値に設定されるので、ステップＳ１３２５の条件は満たされない。
【0174】
ステップＳ１３２５の判断の結果、変数ｉが最後のサブブロックよりも小さく（i＜最後のサブブロック）、変数ｉが０よりも大きい（ｉ＞０）という条件を同時に満たす場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇをパーシングし（Ｓ１８３０）。二つの条件を同時に満たさない場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇを「１」に設定する（Ｓ１８３５）。
【0175】
このとき、パーシングされるｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは、該サブブロック内に一つ以上のノンゼロ係数が存在するか否かを指示する。該サブブロック内に一つ以上のノンゼロ係数が存在する場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは「１」の値を有し、該サブブロック内にノンゼロ係数が存在しない場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは「０」の値を有する。
【0176】
一方、ｉが最後のサブブロックと一番目のサブブロックを指示する場合にのみ、ステップＳ１８３５が行われる。すなわち、最後のサブブロック内には、最後の位置係数が含まれるので、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値は「１」の値がパーシングされ、一番目のサブブロック内には、ＤＣ係数が存在するので、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値は「１」の値がパーシングされる。
【0177】
次に、映像復号化装置は、該ブロックがルーマブロックであるか否かを判断する（Ｓ１３４０）。対象ブロックがルーマブロックであるか否かを判断する目的は、上記で説明したように、ＭＴＳは、ルーマブロックでのみ適用されるからである。
【0178】
ステップＳ１３４０の判断の結果、該ブロックがルーマブロックである場合、「ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ ＆＆ （ｘＳｂ＞３｜｜ｙＳｂ＞３）」の条件を満たすか否かを判断し（Ｓ１８４５）、ステップＳ１８４５の条件を満たす場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「０」に設定する（Ｓ１３５０）。
【0179】
この実施形態によれば、対象ブロック内のサブブロック（３，３）以外のサブブロック、すなわち、ゼロアウト領域において、ノンゼロ係数が一つでも発見される場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは「０」に設定され、明示的ＭＴＳを適用できないと判断されてもよい。
【0180】
図１４は、本発明のまた他の実施形態による有効ＭＴＳを判断する方法を示す図である。図１４の実施形態は、上記で説明された有効ＭＴＳ領域の確認のための２つの条件のうち、（ｂ）の条件を確認する方法について具体的に示す。但し、図１３の実施形態では、全てのサブブロックのｓｂ＿ｃｏｄｅｄ＿ｆｌａｇを確認することにより、有効ＭＴＳ領域を確認しているが、図１４の実施形態では、一番目の無効（ｉｎｖａｌｉｄ）ＭＴＳが発見される場合、以降のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇを確認しなくてもよいことが異なる。図１４のそれぞれのステップは、映像復号化装置内で行われてもよい。
【0181】
図１４を参照すれば、映像復号化装置は、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「１」に設定する（Ｓ１４０５）。前記ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、ブロック内のノンゼロ係数がゼロアウト領域に存在するか否かを指示する。例えば、ブロック内のノンゼロ係数の少なくとも一つがゼロアウト領域に存在する場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、「０」の値を有し、ブロック内の全てのノンゼロ係数がゼロアウト領域に存在しない場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは「１」の値を有してもよい。この実施形態では、ブロック内の全てのノンゼロ係数がゼロアウト領域に存在しないと仮定して、ＭｔｓＺｅｒｏｏｕｔＦｌａｇの初期値を「１」に設定し、ゼロアウト領域の条件及びノンゼロ係数の条件を同時に満たす場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「０」に設定してもよい。このとき、「０」の値を有するＭｔｓＺｅｒｏｏｕｔＦｌａｇが存在する場合は、明示的ＭＴＳを適用しなくてもよい。
【0182】
次に、映像復号化装置は、変数ｉの初期値を最後のサブブロックの値に設定するが、前記変数ｉの値から１ずつを差し引き、変数iの値が０となるまで、以下のステップＳ１４２５乃至ステップＳ１４５０のプロセスを繰り返して行う（Ｓ１４２０）。ステップＳ１４２０のルーチンを繰り返して行う目的は、最後のサブブロックから一番目のサブブロックまで全てのサブブロックのｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値を確認するためである。上述のように、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」である場合、該サブブロック内には一つ以上のノンゼロ係数が存在することを意味し、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「０」である場合、該サブブロック内にはノンゼロ係数が存在しないことを意味する。したがって、図１６を参照すれば、対象ブロック内のｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値が「１」である全てのサブブロックの位置が（０, ０）から（３, ３）内にのみ存在する場合、すなわち、変数ｉを基準として０乃至８以内にのみ存在する場合は、明示的ＭＴＳを適用するための（ｂ）条件が充足されたと判断されてもよい。
【0183】
次に、映像復号化装置は、変数ｉが最後のサブブロックよりも小さく（ｉ＜最後のサブブロック）、変数ｉが０よりも大きい（ｉ＞０）という条件を同時に満たすか否かを判断する（Ｓ１４２５）。例えば、ステップＳ１９２０のルーチンが初めて実行されるときは、変数ｉの初期値が最後のサブブロックと同じ値に設定されるので、ステップＳ１４２５の条件は満たされない。
【0184】
ステップＳ１４２５の判断の結果、変数ｉが最後のサブブロックよりも小さく（i＜最後のサブブロック）、変数ｉが０よりも大きい（ｉ＞０）という条件を同時に満たす場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇをパーシングし（Ｓ１４３０）、二つの条件を同時に満たさない場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇを「１」に設定する（Ｓ１４３５）。
【0185】
このとき、パーシングされるｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは、該サブブロック内に一つ以上のノンゼロ係数が存在するか否かを指示する。該サブブロック内に一つ以上のノンゼロ係数が存在する場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは「１」の値を有し、該サブブロック内にノンゼロ係数が存在しない場合、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇは「０」の値を有する。
【0186】
一方、ｉが最後のサブブロックと一番目のサブブロックを指示する場合にのみ、ステップＳ１４３５が行われる。すなわち、最後のサブブロック内には、最後の位置係数が含まれるので、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値は「１」の値がパーシングされ、一番目のサブブロック内には、ＤＣ係数が存在するので、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値は「１」の値がパーシングされる。
【0187】
次に、映像復号化装置は、「ＭｔｓＺｅｒｏｏｕｔＦｌａｇ ＆＆ ｌｕｍａ ｂｌｏｃｋ」の条件を満たすか否かを判断する（Ｓ１４４０）。
【0188】
ステップＳ１４４０の判断の結果、「ＭｔｓＺｅｒｏｏｕｔＦｌａｇ ＆＆ ｌｕｍａ ｂｌｏｃｋ」の条件を満たす場合、「ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ ＆＆ （ｘＳｂ＞３ ｜｜ｙＳｂ＞３）」の条件を満たすか否かをさらに判断し（Ｓ１４４５）、「ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ ＆＆ （ｘＳｂ＞３｜｜ｙＳｂ＞３）」の条件を満たす場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇを「０」に設定する（Ｓ１４５０）。
【0189】
ステップＳ１４４０の判断の結果、「ＭｔｓＺｅｒｏｏｕｔＦｌａｇ ＆＆ ｌｕｍａ ｂｌｏｃｋ」の条件を満たさない場合、該サブブロックにおけるプロセスを終了する。
【0190】
この実施形態によれば、該変数ｉ、すなわち、該サブブロックにおいて一回でもＭｔｓＺｅｒｏｏｕｔＦｌａｇ値が「０」に設定されると、次のルーチンである変数ｉ－１では、ステップＳ１９４０において、偽り（Ｆａｌｓｅ）値が導出されて、ｓｂ＿ｃｏｄｅｄ＿ｆｌａｇ値をこれ以上確認する必要がない。
【0191】
一方、復号化対象ブロックが前記（ａ）及び（ｂ）の条件を全て満たす場合、明示的ＭＴＳの使用が確定されて、該ブロックに実際に用いられる変換情報をインデックス形態（ｍｔｓ＿ｉｄｘ）で送信する。これに対して、全ての条件を満たさない場合、デフォルト変換（＊）であるＤＣＴ－IIを用いる（図１５参考）。表５は、ｍｔｓ＿ｉｄｘ値による横軸及び縦軸の変換タイプを示す。
【0192】
【表5】
【0193】
表５において、ｔｒＴｙｐｅＨｏｒは、横軸変換タイプを意味し、ｔｒＴｙｐｅＶｅｒは、縦軸変換タイプを意味する。表５における変換タイプの値は、表２のｔｒＴｙｐｅ値を意味する。例えば、ｍｔｓ＿ｉｄｘ値が「２」である場合、横軸変換でＤＣＴ－８（２）を、縦軸変換でＤＳＴ－７（１）を用いればよい。
【0194】
本発明において、上記で言及したデフォルト変換（＊）ＤＣＴ－IIを使用／実行／適用する全ての場合は、「ｍｔｓ＿ｉｄｘ値を「０」に誘導する」という表現で代替されてもよい。すなわち、ｍｔｓ＿ｉｄｘ値が「０」である場合、横軸及び縦軸変換に全てＤＣＴ－II（０）が設定されるからである。
【0195】
本発明において、ｍｔｓ＿ｉｄｘの二進化方法は、ＴＲ（ｔｒｕｎｃａｔｅｄ ｒｉｃｅ）方式を用いており、ＴＲのためのパラメータ値であるｃＭａｘ値は、「４」であり、ｃＲｉｃｅＰａｒａｍ値は「０」である。表６は、ＭＴＳインデックスのコードワードを示す。
【0196】
【表6】
【0197】
表６を参照すれば、ｍｔｓ＿ｉｄｘ値が「０」である場合、これに対応するコードワードは「０」であり、ｍｔｓ＿ｉｄｘ値が「１」である場合、これに対応するコードワードは「１０」であり、ｍｔｓ＿ｉｄｘ値が「２」である場合、これに対応するコードワードは「１１０」であり、ｍｔｓ＿ｉｄｘ値が「３」である場合、これに対応するコードワードは「１１１０」であり、ｍｔｓ＿ｉｄｘ値が「４」である場合、これに対応するコードワードは「１１１１」であることが確認される。
【0198】
【0199】
図１５を参照すれば、映像復号化装置は、「（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ＣｕＰｒｅｄＭｏｄｅ＝ＭＯＤＥ＿ＩＮＴＲＡ）｜｜（ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ＣｕＰｒｅｄＭｏｄｅ＝ＭＯＤＥ＿ＩＮＴＥＲ）」の条件が満たされるか否かを判断する（Ｓ１５１０）。
【0200】
ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、画面内予測時の明示的ＭＴＳの使用如何を示すフラグであり、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、画面間予測時の明示的ＭＴＳの使用如何を示すフラグである。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、画面内予測時、明示的ＭＴＳを用いる場合「１」値を有し、それ以外の場合は、「０」の値を有する。ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、画面間予測時、明示的ＭＴＳを用いる場合、「１」の値を有し、それ以外の場合は、「０」の値を有する。
【0201】
ＣｕＰｒｅｄＭｏｄｅは、復号化対象ブロックが、どの予測方法で符号化されたか否かを指示する。復号化対象ブロックが画面内予測方法で符号化された場合、ＣｕＰｒｅｄＭｏｄｅは、ＭＯＤＥ＿ＩＮＴＲＡ値を有し、復号化対象ブロックが画面間予測方法で符号化された場合、ＣｕＰｒｅｄＭｏｄｅは、ＭＯＤＥ＿ＩＮＴＥＲ値を有する。
【0202】
したがって、復号化対象ブロックが画面内予測及び明示的ＭＴＳを用いる場合、「ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ＣｕＰｒｅｄＭｏｄｅ＝ＭＯＤＥ＿ＩＮＴＲＡ」は、「１」の値を有し、復号化対象ブロックが画面間予測及び明示的ＭＴＳを用いる場合、「ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ ＆＆ ＣｕＰｒｅｄＭｏｄｅ＝ＭＯＤＥ＿ＩＮＴＥＲ」は、「１」の値を有する。したがって、ステップＳ２０１０は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅの値を確認することにより、復号化対象ブロックが明示的ＭＴＳを用いるか否かを判断することができる。
【0203】
ステップＳ１５１０の条件が満たされる場合、映像復号化装置は、「ｌｆｎｓｔ＿ｉｄｘ＝０ ＆＆ ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ＝０ ＆＆ ｃｂＷ＜３２ ＆＆ ｃｂＨ＜３２ ＆＆ ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ＝０ ＆＆ ｃｕ＿ｓｂｔ＿ｆｌａｇ＝０」の条件が満たされるか否かを判断する（Ｓ１５２０）。
【0204】
ここで、ｌｆｎｓｔ＿ｉｄｘ値は、二次変換を示し、ｌｆｎｓｔ＿ｉｄｘ＝０である場合、二次変換を用いていないことを意味する。
【0205】
ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ値は、現在ブロックに変換スキップが適用されるか否かを指示する。すなわち、現在のブロックに変換過程を省略するか否かを指示する。ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ＝０である場合、現在ブロックに変換スキップが適用されていないことを示す。
【0206】
ｃｂＷ及びｃｂＨは、それぞれ現在ブロックの幅及び高さを示す。上述のように、デフォルト変換であるＤＣＴ－IIの最大サイズは６４×６４まで支援され、追加変換であるＤＳＴ－７及びＤＣＴ－８の最大サイズは３２×３２まで支援される。例えば、復号化対象ブロックのサイズが６４×６４である場合、一つの６４×６４のＤＣＴ－IIを変換過程に適用する。すなわち、復号化対象ブロックの幅及び高さの一つ以上が、３２よりも大きい（３２を超える）場合、ＭＴＳを適用することなく、直ちにデフォルト変換（＊）を適用する。したがって、ＭＴＳが適用されるためには、ｃｂＷ及びｃｂＨの値が全て３２以下の値を有さなければならない。
【0207】
ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇは、イントラサブパーティションモード（ｉｎｔｒａ ｓｕｂｐａｒｔｉｔｉｏｎ ｍｏｄｅ）が適用されるか否かを指示する。イントラサブパーティションモードは、画面内予測方法の一つであって、対象ブロックを多数個のサブブロックに分けて、予測、変換、量子化過程を経ることを指示する。すなわち、該フラグ値（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）が「０」である場合、対象ブロックをサブブロックに分けることなく、一般的な画面内予測を行うことを意味する。
【0208】
ｃｕ＿ｓｂｔ＿ｆｌａｇは、対象ブロックの一部のみが変換過程を経るサブブロック変換が適用されるか否かを指示する。すなわち、ｃｕ＿ｓｂｔ＿ｆｌａｇ値が「０」である場合、対象ブロックの一部のみが変換過程を経るサブブロック変換が適用されないことを意味する。
【0209】
したがって、ステップＳ１５２０の条件が満たされるか否かにより、復号化対象ブロックが明示的ＭＴＳを適用できるか否かを判断してもよい。
【0210】
ステップＳ１５１０の条件が満たされない場合、映像復号化装置は、ｍｔｓ＿ｉｄｘの値を「０」に設定し（Ｓ１５３０）、プロセスを終了する。
【0211】
ステップＳ１５２０の条件が満たされる場合、映像復号化装置は、「ＭｔｓＺｅｒｏＯｕｔＦｌａｇ＝１ ＆＆ ＭｔｓＤｃＯｎｌｙＦｌａｇ＝０」の条件が満たされるか否かを判断する（Ｓ１５４０）。
【0212】
前記ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、ブロック内のノンゼロ係数がゼロアウト領域に存在するか否かを指示する。ブロック内のノンゼロ係数の少なくとも一つがゼロアウト領域に存在する場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、「０」の値を有し、ブロック内の全てのノンゼロ係数がゼロアウト領域に存在しない場合、ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、「１」の値を有してもよい。このとき、ＭｔｓＺｅｒｏｏｕｔＦｌａｇの値は、図１３または図１４のプロセスを行うことにより決まってもよい。
【0213】
ＭｔｓＤｃＯｎｌｙＦｌａｇは、ブロック内のノンゼロ係数が一つであり、その位置がＤＣであるか否かを指示する。ブロック内のノンゼロ係数が一つであり、その位置がＤＣである場合、前記ＭｔｓＤｃＯｎｌｙＦｌａｇは「１」の値を有し、その他の場合は、ＭｔｓＤｃＯｎｌｙＦｌａｇは「０」の値を有する。このとき、ＭｔｓＤｃＯｎｌｙＦｌａｇの値は、図１７のプロセスを行うことにより決まってもよい。
【0214】
一方、ステップＳ１５２０の条件が満たされない場合、映像復号化装置は、ｍｔｓ＿ｉｄｘの値を「０」に設定し（Ｓ１５３０）、プロセスを終了する。
【0215】
ステップＳ１５４０の条件が満たされる場合、映像復号化装置は、ｍｔｓ＿ｉｄｘをパーシングし（Ｓ１５５０）、プロセスを終了する。このとき、ｍｔｓ＿ｉｄｘの値による横軸及び縦軸の変換タイプは、表５により割り当てられてもよい。このとき、表５における変換タイプの値は、表２のｔｒＴｙｐｅ値を意味する。例えば、ｍｔｓ＿ｉｄｘ値が「２」である場合、横軸変換でＤＣＴ－８、縦軸変換でＤＳＴ－７が適用されてもよい。
【0216】
また、ステップＳ１５４０の条件が満たされない場合にも、映像復号化装置は、ｍｔｓ＿ｉｄｘの値を「０」に設定し（Ｓ１５３０）、プロセスを終了する。
【0217】
図１６は、本発明の他の実施形態による変換関連パラメータに基づく逆変換実行方法を示す図である。図１６のそれぞれのステップは、映像復号化装置で行われてもよく、例えば、復号化装置の逆変換部で行われてもよい。
【0218】
図１６を参照すれば、映像復号化装置は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ、ｌｆｎｓｔ＿ｉｄｘ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ、ｃｂＷ、ｃｂＨ、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ、ｃｕ＿ｓｂｔ＿ｆｌａｇの値を取得する（Ｓ１６１０）。このとき、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ、ｌｆｎｓｔ＿ｉｄｘ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ、ｃｂＷ、ｃｂＨ、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ、ｃｕ＿ｓｂｔ＿ｆｌａｇがそれぞれ何を示すかについては、図１５の関連説明において詳しく説明されており、前記パラメータは、復号化対象ブロックが明示的ＭＴＳを適用することができるか否かを判断するために用いられる。
【0219】
次に、映像復号化装置は、ＭｔｓＺｅｒｏｏｕｔＦｌａｇ及びＭｔｓＤｃＯｎｌｙＦｌａｇ値を取得する（Ｓ１６２０）。このとき、前記ＭｔｓＺｅｒｏｏｕｔＦｌａｇは、図１３または図１４のプロセスを行うことにより取得し、ＭｔｓＤｃＯｎｌｙＦｌａｇは、図１２のプロセスを行うことにより取得することができる。
【0220】
次に、映像復号化装置は、ステップＳ１６１０及びステップＳ１６２０で取得したパラメータに基づき、ｍｔｓ＿ｉｄｘ値を取得する（Ｓ１６３０）。すなわち、映像復号化装置は、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ、ｌｆｎｓｔ＿ｉｄｘ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ、ｃｂＷ、ｃｂＨ、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ、ｃｕ＿ｓｂｔ＿ｆｌａｇ、ＭｔｓＺｅｒｏｏｕｔＦｌａｇ、ＭｔｓＤｃＯｎｌｙＦｌａｇに基づき、ｍｔｓ＿ｉｄｘ値を取得する。このとき、ｍｔｓ＿ｉｄｘは、図１５のプロセスを行うことにより取得されてもよい。
【0221】
次に、映像復号化装置は、ｍｔｓ＿ｉｄｘに基づき、逆変換を行う（Ｓ１６４０）。ｍｔｓ＿ｉｄｘ値により適用される逆変換は、表５及び表２により構成されてもよい。例えば、ｍｔｓ＿ｉｄｘ値が「２」である場合、横軸方向にＤＣＴ－８が適用され、縦軸方向にＤＳＴ－７が適用されてもよい。
【0222】
一方、図示されていないが、映像符号化装置の観点では、明示的ＭＴＳの使用如何を設定するために、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅ＿ｆｌａｇ、ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｅｒ＿ｅｎａｂｌｅ＿ｆｌａｇ、ＣｕＰｒｅｄＭｏｄｅ、ｌｆｎｓｔ＿ｉｄｘ、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇ、ｃｂＷ、ｃｂＨ、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ、ｃｕ＿ｓｂｔ＿ｆｌａｇ、ＭｔｓＺｅｒｏｏｕｔＦｌａｇ、ＭｔｓＤｃＯｎｌｙＦｌａｇを設定することができる。上述した実施形態において、方法は、一連のステップまたはブロックとして順序図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、上述とは異なるステップと異なる順序によりまたは同時に発生してもよい。また、当業者であれば、順序図に示されたステップが、排他的ではなく、他のステップが含まれるか、順序図の一つまたはそれ以上のステップが、本発明の範囲に影響を及ぼすことなく削除されてもよいことが理解されるであろう。
【0223】
この文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上において実現されて行われてもよい。例えば、それぞれの図面に示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラ、またはチップ上において実現されて行われてもよい。この場合、実現のための情報（例えば、指示事項情報）またはアルゴリズムがデジタル保存媒体に保存されてもよい。
【0224】
また、本発明が適用されるデコード装置およびエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信等のリアルタイム通信装置、モバイルストリーミング装置、保存媒体、カムコーダ、ビデオオンデマンド（注文型ビデオ）（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、運送手段端末（例えば、車両端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれてもよく、ビデオ信号またはデータ信号を処理するために用いられてもよい。例えば、ＯＴＴビデオ（Ｏｖｅｒ Ｔｈｅ Ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）等が挙げられる。
【0225】
また、本発明が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されてもよく、コンピュータで読み取り可能な保存媒体に保存されてもよい。本発明によるデータ構造を有するマルチメディアデータもコンピュータで読み取り可能な保存媒体に保存されてもよい。前記コンピュータで読み取り可能な保存媒体は、コンピュータで読み出すことができるデータが保存記憶されるあらゆる種類の保存装置及び分散記憶装置を含む。上記コンピュータで読み取り可能な保存媒体は、例えば、ブルーレイディスク（ＢＤ）、ユニバーサルシリアル（汎用直列）バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピディスク、及び光学データ保存装置を含んでもよい。また、前記コンピュータで読み取り可能な保存媒体は、搬送波の形態（例えば、インターネットを介した送信）で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームは、コンピュータで読み取り可能な保存媒体に保存されるか、有無線通信ネットワークを介して送信されてもよい。
【0226】
また、本発明の実施形態は、プログラムコードによるコンピュータプログラム製品で実現されてもよく、前記プログラムコードは、本発明の実施形態によりコンピュータで行われてもよい。前記プログラムコードは、コンピュータで読み取り可能なキャリア上に保存されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
